poetryで管理されているプロジェクトでeditable installがしたい

poetry

まぁまれにある。work-aroundのメモ。

editable install?

通常のpythonのパッケージのインストールは、パッケージ中のファイルをsite-packages以下にコピーすることなのだけど、editable installというのは、直接参照して利用する形式のインストールのこと。開発時にはimportして利用されるものが直接手元で管理しているリポジトリのファイルであってほしい。そういうときに使う。

関連しそうなstack overflowのページヘのリンクでも貼っておく。

通常の方法

自身のパッケージをeditable installしたい場合には以下の様にする。これが通常の方法。

$ pip install -e .

poetryでこれをやる方法

いろいろ調べてみるとそういう機能は無いようだ。というわけでwork-aroundとしては以下の様な感じになる。

  1. poetry buildでsdistを生成 (dist/<package name>-<version>.tar.gz)
  2. 生成されたファイルからsetup.pyを抽出
  3. pyproject.tomlを消す
$ poetry build
$ tar -O -xf dist/<package name>-<version>.tar.gz <package name>-<version>/setup.py > setup.py
$ rm pyproject.toml
$ pip install -e .

詳細(実行例)

以下は詳細。

fooパッケージを仮に作ってそのfooパッケージに対しての例をメモしておく。

# foo パッケージ作成 (通常はこれは不要)
$ poetry new foo
Created package foo in foo
$ cd foo

# dist/*.tar.gz を生成 (sdist)
$ poetry build
Building foo (0.1.0)
  - Building sdist
  - Built foo-0.1.0.tar.gz
  - Building wheel
  - Built foo-0.1.0-py3-none-any.whl

# setup.pyがあることを確認
$ tar -tf dist/foo-0.1.0.tar.gz
foo-0.1.0/README.md
foo-0.1.0/foo/__init__.py
foo-0.1.0/pyproject.toml
foo-0.1.0/setup.py
foo-0.1.0/PKG-INFO

# setup.pyを抽出
$ tar -O -xf dist/foo-0.1.0.tar.gz foo-0.1.0/setup.py > setup.py

# editable install
$ rm pyproject.toml
$ pip install -e .

成功すると foo.egg-infoができる。これでどこからでも import foo をして確認することができるようになる(editable installとして)。

なんでpyproject.tomlを消すの？

pep517はeditable installをサポートしていないので。 editable installをどうするかについては議論が進行中。

build_wheel_for_editableという欄を設けようというようなpepが準備されているみたい。

flitにこれのPOCのPRがあったりする。お試しで対応するPR。

poetry add --editable

実は自分自身ではなく依存ライブラリに関しては editable installをする機能をpoetryも追加してくれている。元々は自分自身でpyproject.tomlに develop=true とかちょっと面倒な感じで指定する必要があったのだけれど。poetry addにeditable installをする機能が追加された。1.2から利用できるようになる。

poetry add --editable <package> として依存を追加するとeditable installになる。

そんなわけでfooとbarというパッケージを作って、barで poetry add --editable foo としてあげると言う方法もありはする。

$ poetry new foo
Created package foo in foo
$ poetry new bar
Created package bar in bar
$ cd bar/
$ poetry add --editable ../foo

Updating dependencies
Resolving dependencies... (0.1s)

Writing lock file

Package operations: 1 install, 0 updates, 0 removals

  • Installing foo (0.1.0 ~/venvs/my/foo)
$ python
Python 3.9.2 (default, Mar 15 2021, 19:36:22) 
[Clang 8.0.0 (clang-800.0.42.1)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import foo
>>> foo.__file__
'~/venvs/my/foo/foo/__init__.py'

flit

ちなみにflitでは flit -s でインストールできる。fastapiなんかはflitを利用している。

実際の実行例はこんなかんじ。

$ ghq tiangolo/fastapi
$ cd ~/ghq/github.com/tiangolo/fastapi
$ flist install -s
...
Symlinking fastapi -> ~/venvs/my/lib/python3.9/site-packages/fastapi                  I-flit.install