松尾研究所では、Python開発における標準ツールとしてuvを推奨しています。uvはPythonのパッケージ管理ツールで、依存関係の管理や仮想環境の構築を自動化し、高速で再現性のある開発を可能にすることが特長です。 Pythonパッケージだけでなく、Node.jsやブラウザ周りのツールなど他の依存も扱うときには、uvとDockerを併用するケースもあるかと思います。Dockerのコンテナ上でuvを使用する方法について社内で話題になったとき、調べたところいくつか方法があることが分かったので、それぞれの方法の違いと松尾研究所推奨の環境構築方法についてまとめました。 推奨方針まとめ Python開発はuvを標準とする Docker運用はAstral公式のuv+pythonイメージの使用を推奨 Astral公式のuvイメージ、または公式インストーラ（install.sh）によるuvの直接インストー
5 年ほど前に Python のコンテナ化について 2 つの記事を書きましたが FastAPI 側も Docker 側もアップデートがあり、当時よりもかなりシンプルになってきたのを感じたので少し調べてまとめてみました。 書き方の部分は別として Python におけるコンテナイメージ選択の考え方とかは 2020 年に書いたときとは変わっていませんので、適宜そちらを参照してください。 仕事で Python コンテナをデプロイする人向けの Dockerfile (1): オールマイティ編 仕事で Python コンテナをデプロイする人向けの Dockerfile (2): distroless 編 (1)の方からのアップデートとしては Debian のバージョンですね。stretch(9), buster(10)はすでに EOL です。その次に出た bullseye(11)は 2026 年 8
本記事では、FlexGenをDockerで使う方法を紹介します。 ※nvidia-docker2が導入済みの、DockerからGPUが使用できる環境でなければ実行できませんのでご注意ください。 FlexGenとは ライセンス：Apache-2.0 license FlexGenとは、自前のPCなど計算資源の小さいマシン上で、大規模言語モデル（Large Language Model: LLM）を動作させることを可能にする技術です。 FlexGenについては、既に概要を詳しく説明している記事が沢山出ていますので、ここでは説明を省略します。詳細は、リポジトリや論文で確認することができます。 論文：High throughput generative inference of large language models with a single gpu DockerでFlexGenを動作させる
BusterとかStretchという名前が見慣れない方もいるかもしれませんが、これはLinuxディストリビューションとしてシェアの大きなDebianのコードネームです。 Debianバージョンが少し古いStretchの方がちょびっとサイズが小さかったりはしますが、まあ実用的にはサポートが長い方がいいですよね。slimを使ってGCCとかのコンパイラを自前でダウンロードしている記事とかもたまに見かける気がしますが、マルチステージビルドであれば、そんなにケチケチしなくていいのと、パッケージダウンロードは逐次処理なので遅く、処理系が入ったイメージのダウンロードの方が高速です。並列で処理されるし、一度イメージをダウンロードしてしまえば、なんどもビルドして試すときに効率が良いです。また、多くのケースでネイティブのライブラリも最初から入っており、ビルドでトラブルに遭遇することはかなり減るでしょう。 Py
なお、distrolessのイメージは2種類（3通りの名前）がありますが、Python 3.5はバグ修正はせず、セキュリティ修正のみでサポート期限が2020/9/13というステータスなので、本エントリーでは3.7の方のみを扱います。 gcr.io/distroless/python3: Python 3.5.3 gcr.io/distroless/python3-debian9: Python 3.5.3(上のイメージと同一) gcr.io/distroless/python3-debian10: Python 3.7.3 一応サンプル等もありますが、どれも1ファイルで構成されたサンプルスクリプトばかりです。前回のsite-packagesにコピーする方法を軽く試したところうまく動かず、シェルもpipもensurepipもないため、ビルドイメージにすることもできません。いろいろ調べた結果、
#DockerでPython3.5で作成したWebアプリケーションの検証用環境を作成 PythonでWebアプリケーションを作成することはほんとんどなかった。ノンブロッキングI/Oの（node.jsやGolangとの比較検証等を考慮した）動作検証をする際にWebアプリケーションとして用意したかったので、その際、Docker for Macで簡単な環境を構築したので備忘録として記載。 Docker ComposeでPython3.5+uWSGI+Nginxの動作環境用のコンテナを用意した。 余談だが、uWSGIは「ウエスギ」という読み方が一般化しているようだ。「ユーウイスキー」と読んでいた。 ##Docker for Macのインストール Docker for Macを利用した。ここからDocker for Macをダウンロードして、Macにインストールする。 ##Docker Compos
tl;dr Read the Docs (RTD)でよくわからないバグでコンパイルできない -> Dockerを使うと簡単にデバッグできるよ。 問題 RTDにはじめてドキュメンテーションを登録してみたところ、エラーでまくり。 このGithubレポジトリをこのRTDとしてアップロード。 ローカルの環境ではうまくいくのにImportErrorがでていた。 やったこと 公式ドキュメンテーションにあるとおりRTDはそのドキュメンテーションビルド手順を完全に公開しています。また、ビルドに使う環境のdockerイメージも公開しているので、手元で同等の環境を作り、デバッグすることが容易です。 まず、dockerイメージをpullし、interactive shellで起動します。 export READTHEDOCS=1 # 追加分 mkdir -p /home/docs/checkouts/readt
以前、Docker + Alpine3.5 + Apache2.4 + Python2.7で、mod_pythonをソースコードからインストールしてみました。 Docker + Alpine3.5 + Apache2.4 + Python2.7で、mod_pythonをソースコードからインストールしてみた - メモ的な思考的な その時はPython2.x系で試したため、今回はPython3.x系でmod_pythonをコンパイル&インストールし、Hello worldしてみます。 目次 環境 まとめ 準備：prefork MPMで動作するApache2.4のDockerイメージを作成 masterをコンパイル&インストール ブランチ3.5.xをコンパイル&インストール masterにブランチ3.5.xをマージして、コンパイル&インストール masterのビルド用ファイルをブランチ3.5.x
前回、フォームのデータをcgiモジュールを使って受け取りました。 Docker + Alpine3.5 + Apache2.4 + Python3.6で、フォームのデータを標準モジュールcgiで受け取ってみた - メモ的な思考的な 今回は、ApacheのSSI(Server Side Include)を、公式チュートリアルを見ながら試してみます。 Apache チュートリアル: Server Side Includes 入門 - Apache HTTP サーバ バージョン 2.4 目次 環境 AddOutputFilterを使って、shtmlファイルのみSSIを有効にする AddOutputFilterを使って、shtml・htmlファイルでSSIを有効にする XBitHack onを使って、htmlファイルのみでSSIを有効にする XBitHack onを使って、html・shtmlファ
前回、フォームのデータをCGIのPythonスクリプトでsys.stdin.read()とos.environを使って受け取りました。 Dockerで、Alpine3.5 + Apache2.4 + Python3.6の環境を作って、フォームのデータをCGIで受け取ってみた - メモ的な思考的な 今回は標準モジュールcgiにあるFieldStorage使ってデータを受け取ってみます。 目次 環境 cgi.FieldStorageを使ったフォームデータの受け取り データの読み込み FieldStorageの属性やメソッド フォームのフィールド値の取得 同じnameを持つ複数フィールド値の取得 cgi.FieldStorageを使ったアップロードファイルの受け取り ソースコード 環境 Mac OS X 10.11.6 Docker for Mac 17.03.1-ce-mac5 Alpine3
以前、DockerでCGIを動かしてみました。 Dockerで、Alpine3.4 + Apache2.4.25 + Python3.6.0の環境を作って、CGIを動かしてみた - メモ的な思考的な 今回は、Dockerで、Alpine3.5 + Apache2.4 + Python3.6の環境を作って、フォームのデータをPythonのCGIで受け取ってみます。 目次 環境 Dockerfile作成 HTMLフォームの作成 CGI用のPythonスクリプトを作成 CGI用のPythonスクリプトのパーミッションを変更 Dockerの起動 フォームでGET フォームでPOST その他悩んだこと Dockerfileの中で、共有ディレクトリのパーミッションを設定する方法 ソースコード 環境 Mac OS X 10.11.6 Docker for Mac 17.03.1-ce-mac5 Alpi
こんにちはsekitakaです。 本番だけでなく、ローカル開発環境のPycharmのRunコマンドでもプログラムをDockerコンテナ上で実行できるといいですよね。 本番と同じ環境のDockerコンテナが使用できればハマりも減ることでしょう。 今回はPycharmのインタプリタをDockerコンテナ上のpythonにする方法の紹介です。 設定方法 python実行環境のイメージを取得する コンテナに使用するイメージを取得してます。今回は例なのでDocker Hubのpython3環境を使っているだけです。 実際は使用するイメージをそれぞれの開発に最適化されたイメージにするのがベストです。 設定確認 Preferences > PluginsでDocker integrationが有効になっていることを確認してください。 Pycharmのインタプリタ設定をDockerのものにする Prefe
仕様 ターミナルからcurlコマンドでjsonデータを送ると, 文字列が成型されて, 同じくjson形式でデータが返ってくる. 環境 Mac OS X 10.12 Docker for Mac 17.03 多分Linuxでも同様にできます. 1. Flask起動スクリプトの用意 Pythonの軽量WebフレームワークであるFlaskをつかって作成します. @app.route()で指定されたディレクトリにアクセスすると, defで定義したメソッドが起動し, returnで結果を返す, という流れです. from flask import Flask, jsonify, request import json app = Flask(__name__) @app.route("/", methods=['GET']) def hello(): return "Hello World!" @a
要件 Docker ビルド時に, github, BitBucket 等のプライベートリポジトリのライブラリを pip install したい 条件 プライベートリポジトリにアクセスするための鍵は $HOME/.ssh 以下にある 案1 ローカルで wheel 作成して Dockerfile でコピー pip wheel djando (django はプライベートじゃないけども) 良い点 鍵問題と Docker を切り離せる イメージをビルドし直す際に wheel を使いまわせる 問題点 ライブラリのビルドをローカル環境で行うためコンテナ内の実行環境と合わない可能性がある 例1: Django を wheel で取得した場合 -> Django-1.8.1-py2.py3-none-any.whl python2-3 互換性があり, OS 非依存(any) こちらの場合なら問題ないが,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
