推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
用 poetry 和 pyproject.toml，如何保证开发/测试环境和生产环境 dependency 同步？
tcdh · 2021-05-11 17:51:12 +08:00 · 1784 次点击这是一个创建于 1273 天前的主题，其中的信息可能已经有所发展或是发生改变。
当前 workflow：
- 开发 /测试的 dependency 在 poetry.lock 里，poetry install 安装
- 测试通过后用 poetry build & poetry publish 发布
- 生产环境 docker image 里 pip install 上一步的 package
问题：开发环境的 dependency 在 poetry.lock 里，发布 package 的 dependency 在 pyproject.toml 的 tool.poetry.dependencies 里。有可能不同步。
我能想到的解决方法：
-
手动同步 pyproject.toml 和 poetry.lock 。不过这样一来似乎也没什么必要用 poetry.lock 了。根据 poetry 的文档如果没有 poetry.lock 的话 poetry install 会读取 pyproject.toml 里的 dependency，那干脆开发和生产都用 pyproject.toml 。
-
docker 里 git checkout 出 poetry.lock，安装 dependency 然后再安装发布包。不过这样一来需要在 image 里装没什么用的 git，并且如果是 private repo 的话可能要添加一些设置。
python 半小白，感觉应该是比较常见的问题但是搜了一圈没看到人怎么说。请不吝赐教。
9 条回复 • 2021-05-19 14:53:59 +08:00
 |
1
GoLand 2021-05-11 18:23:14 +08:00
正常很难把整个项目打包到一个 pip 包里，更多的是直接构建 docker image，再去分发 image 即可。
然后就解决了你这个问题。 |
 |
2
0bit 2021-05-11 18:36:47 +08:00
楼上正解，还是建议用容器级别的封装和分发。
Python 的包，如果都是纯 Python 还好，如果有二进制依赖就很难受，充满不确定性。 |
 |
3
so1n 2021-05-11 18:49:31 +08:00
我是开发用 poetry 然后会用 potry 命令导出一份 requirements, 生产就直接用这份 requirements
|
 |
4
tcdh OP @GoLand 对 docker 也只是一知半解。请问你的意思是构建当前 package 的 image，然后 production 的 image （需要多个不同的 package ）用 https://docs.docker.com/develop/develop-images/multistage-build/#use-multi-stage-builds 来构建吗？
这个流程可以避免生成 python distribution(sdist, wheel ）吗？我的理解是只要需要生成通过 pip 安装的 distribution 就会出现我目前面临的问题（开发的 denpendency 和打包的 dependency 不同步） |
 |
5
no1xsyzy 2021-05-11 21:49:08 +08:00
@tcdh 不要 multi-stage，直接
FROM python COPY RUN poetry install CMD 既然你生产环境是 docker，发布就不应当是 poetry publish 而是 docker push |
 |
6
lychee930224 2021-05-12 21:12:00 +08:00
docker 统一
|
 |
7
frostming 2021-05-13 10:08:00 +08:00
poetry.lock 就是让你复制可用环境部署用的，否则这文件没任何意义。
你既然选择用发布 pypi 包部署就是放弃了 poetry.lock 的能力。 要复制环境应该在 docker 里装 poetry 然后用 poetry.lock 安装，或者用导出 requirements.txt 的方式来避免安装 Poetry |
 |
8
CharAct3 2021-05-16 12:13:11 +08:00
1. 将安装了 poetry 的 python image 作为基础镜像
2. 复制依赖文件到自定义的 work dir 下 3. 运行 poetry 命令安装依赖 FROM custom_python_with_poetry WORKDIR /work_dir COPY pyproject.toml poetry.lock /work_dir RUN poetry config virtualenvs.create false && poetry install --no-dev --no-interaction --no-ansi |
|
9
no1xsyzy 2021-05-19 14:53:59 +08:00
捞个出来稍微改了改。
https://gist.github.com/no1xsyzy/c4c291d32dfc94693f0d7d2f0ea4544e poetry 似乎没有官方的 image…… 理应当不用 get-poetry 这个 installer 的，直接 ADD release.tar.gz 就行…… 或者照着 aur/python-poetry-git 的 PKGBUILD 改改，安装到 /usr/bin 下面去。 |
Select Language