pex : empaquetage de fichiers exécutables Python-Tutoriel Python-php.cn

pex：打包 Python 可执行文件

pex signifie Python EXecutable et est un moyen de générer des packages Python faciles à distribuer. Une chose importante à noter est que pex ne dispose pas d’un support Windows solide. Par conséquent, vous devez exécuter pex sur un système *NIX. Cet article vous montrera certaines des choses que vous pouvez faire avec pex pour distribuer différents types de projets Python.

Utilisation de base

Compte tenu de l'importance d'un interpréteur python pour le packaging pex, il est fortement recommandé d'utiliser un environnement virtuel. A titre d'exemple j'utiliserai l'environnement python 3.11 :

$ virtualenv --python=python3.11 venv
$ source venv/bin/activate
$ python -m pip install pex
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Collecting pex
  Using cached https://www.piwheels.org/simple/pex/pex-2.1.144-py2.py3-none-any.whl (2.9 MB)
Installing collected packages: pex
Successfully installed pex-2.1.144

Copier après la connexion

Le format général de l'exécution de pex CLI est :

pex [模块] [选项]

où [MODULES] est une liste de modules séparés par des espaces dans une chaîne de déclaration de dépendance de style pip :

$ pex "requests" "setproctitle==1.3.2" "uvicorn[standard]"
Python 3.11.4 (main, Aug 17 2023, 03:18:09) [GCC 10.2.1 20210110] on linux
Type "help", "copyright", "credits" or "license" for more information.
(InteractiveConsole)
>>>

Copier après la connexion

Sans aucune autre option, pex entrera dans un shell interactif et les modules fournis seront disponibles sur :

>>> import requests
>>> import setproctitle
>>> import uvicorn
>>>

Copier après la connexion

Après la fermeture de la console, nous pouvons voir que le package d'environnement virtuel n'est absolument pas affecté :

$ pip list
Package    Version
---------- -------
pex        2.1.144
pip        23.2.1
setuptools 65.5.0
$

Copier après la connexion

Gestion de la demande

Étant donné qu'énumérer chaque module n'est généralement pas idéal, il existe deux manières alternatives de communiquer les exigences. La première solution est d'utiliser le fichier requirements.txt :

requirements.txt

requests
setproctitle==1.3.2
uvicorn[standard]

Copier après la connexion

pex peut ensuite être exécuté en utilisant l'option -r et le fichier requirements.txt transmis :

$ pex -r requirements.txt 
Python 3.11.4 (main, Aug 17 2023, 03:18:09) [GCC 10.2.1 20210110] on linux
Type "help", "copyright", "credits" or "license" for more information.
(InteractiveConsole)
>>>

Copier après la connexion

-r 参数也可以多次传递，以防您捆绑多个项目。如果您已经设置了虚拟环境，那么您可以将 pip freeze 传递给 pex：

$ pex $(pip freeze)
Python 3.11.4 (main, Aug 17 2023, 03:18:09) [GCC 10.2.1 20210110] on linux
Type "help", "copyright", "credits" or "license" for more information.
(InteractiveConsole)
>>>

Copier après la connexion

如果您有很多模块需要使用，则 requirements.txt 方法会很好。 pip freeze 对于已经设置了 virtualenv 的情况很有用。

Python 项目结构化模块

pex 还支持 python 包作为模块，其结构类似于 python 打包文档中的基本结构。对于此示例，我将使用此 git 存储库中的项目布局。它包括一个带有自述文件、许可证、简单模块和 pyproject.toml 的基本布局。这足以让它被 pex 识别，就像开发模式 pip install 一样：

$ pex .
Python 3.11.4 (main, Aug 17 2023, 03:18:09) [GCC 10.2.1 20210110] on linux
Type "help", "copyright", "credits" or "license" for more information.
(InteractiveConsole)
>>> from simple_pex import simple_math
>>> simple_math(3,4)
7
>>>

Copier après la connexion

这一切都是在无需构建项目本身的情况下实现的。

资源目录

pex 还可以添加测试数据和配置等重要项目的目录。在应用程序存储库中，有一个 resources 目录，其中包含一个 test_data.json 文件，如下所示：

{
    "a": 1,
    "b": 2
}

Copier après la connexion

我们可以使用 pex 和 -D 参数来添加特定的捆绑目录。然后可以在脚本/交互式提示中使用它，如下所示：

$ pex . -D resources
Python 3.11.4 (main, Aug 17 2023, 03:18:09) [GCC 10.2.1 20210110] on linux
Type "help", "copyright", "credits" or "license" for more information.
(InteractiveConsole)
>>> from simple_pex import simple_math
>>> import json
>>> fp = open('resources/test_data.json', 'r')
>>> data = json.load(fp)
>>> fp.close()
>>> simple_math(data['a'], data['b'])
3
>>>

Copier après la connexion

如您所见，JSON 数据被加载，然后传递给 simple_math 函数，在该函数中返回正确的结果。

切入点

Python 脚本的一个功能是能够像运行基本程序一样设置入口点。对于此示例，我将使用此存储库中托管的代码。使这项工作有效的是控制台脚本的声明，如下所示：

[project.scripts]
adder = "cli_pex:run"

Copier après la connexion

这将生成一个名为“adder”的脚本，该脚本将从 cli_pex 包中执行 run：

import argparse

def run():
    parser = argparse.ArgumentParser()
    parser.add_argument("--integer1", type=int, help="First Integer")
    parser.add_argument("--integer2", type=int, help="Second Integer")
    args = parser.parse_args()
    print(args.integer1 + args.integer2)

Copier après la connexion

虽然不是一个非常实用的程序，但它可以完成展示 pex 如何与控制台脚本一起工作的工作。要展示这一点：

$ pex . -o adder.pex -c adder
$ ./adder.pex --integer1 3 --integer2 4
7

Copier après la connexion

使用 -c 告诉 pex 我们要使用 pyproject.toml 中定义的 adder 脚本。现在，当我们打包所有内容时，它就像一个基本程序一样。还有一个使用固定参数的选项，因此只需要执行 .pex 文件：

$ pex . -o adder.pex -c adder --inject-args "--integer1 3 --integer2 4"
$ ./adder.pex 
7

Copier après la connexion

这对于轻松部署采用绑定端口和主机名等参数的服务器脚本非常有用。

Docker 部署

为了将这一切放在一起，我将对 pex Web 应用程序进行 Docker 部署。它将把 Gunicorn 与 Flask 应用程序捆绑在一起，该应用程序将充当容器的入口点。可以在此处找到此示例中使用的代码。在此设置中，有一个简单的 Flask 应用程序、一个 Gunicorn 配置文件和一个用于启用部署的 Dockerfile。这次 pyproject.toml 声明了一些依赖项：

dependencies = [
    "flask",
    "gunicorn",
    "setproctitle",
]

Copier après la connexion

另一件需要考虑的事情是，pex 需要将其打包的系统设置与目标系统相当接近。这意味着我将在 Unbuntu 盒子上构建，而我的容器将基于 Debian（更精简，并且系统足够接近）。其他一些需要完成的事情：

pex可执行文件需要指向gunicorn控制台脚本才能运行服务器
gunicorn 配置文件需要复制到系统
--inject-args 需要将 --config 参数设置为gunicorn配置
生成的 .pex 文件需要设置为入口点

查看要求，生成的 pex 调用将是：

pex . -o web_pex.pex -c gunicorn --inject-args "--config /home/gunicorn/app/gunicorn.config.py"

Copier après la connexion

虽然 Dockerfile 看起来像：

FROM python:3.11.4-bullseye

USER root
RUN useradd -d /home/gunicorn -r -m -U -s /bin/bash gunicorn

USER gunicorn
RUN mkdir /home/gunicorn/app
COPY config/gunicorn.config.py /home/gunicorn/app
COPY web_pex.pex /home/gunicorn/app

ENTRYPOINT /home/gunicorn/app/web_pex.pex
EXPOSE 8000

Copier après la connexion

鉴于我构建 .pex 包的解释器是 python 3.11，我将其设置为基础映像。现在剩下的就是构建 Dockerfile，然后运行生成的映像：

$ docker buildx build  -f Dockerfile -t flask/web-pex:latest .
$ docker run -it -p 8000:8000 flask/web-pex:latest
[2023-08-25 00:13:11 +0000] [7] [INFO] Starting gunicorn 21.2.0
[2023-08-25 00:13:11 +0000] [7] [INFO] Listening at: http://0.0.0.0:8000 (7)
[2023-08-25 00:13:11 +0000] [7] [INFO] Using worker: sync
[2023-08-25 00:13:11 +0000] [8] [INFO] Booting worker with pid: 8
[2023-08-25 00:13:11 +0000] [9] [INFO] Booting worker with pid: 9

Copier après la connexion

这将运行新创建的 flask/web-pex:latest 映像并公开端口 8000。现在使用curl 进行测试：

$ curl http://127.0.0.1:8000
Hello World

Copier après la connexion

感谢 setproctitle 进程列表也变得更清晰：

$ ps aux
USER         PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
gunicorn       1  0.0  0.0   2480   512 pts/0    Ss+  00:13   0:00 /bin/sh -c /home/gunicorn/app/web_pex.pex
gunicorn       7  4.5  0.2  53904 48244 pts/0    S+   00:13   0:00 gunicorn: master [gunicorn]
gunicorn       8  1.1  0.3  63244 52084 pts/0    S+   00:13   0:00 gunicorn: worker [gunicorn]
gunicorn       9  0.6  0.3  62024 51644 pts/0    S+   00:13   0:00 gunicorn: worker [gunicorn]
gunicorn      10  0.5  0.0   6052  3784 pts/1    Ss   00:13   0:00 /bin/bash
gunicorn      17  0.0  0.0   8648  3276 pts/1    R+   00:13   0:00 ps aux

Copier après la connexion

这使得更容易辨别容器上的各种gunicorn进程。

工具

另一个有趣的功能是 pex 还提供了一些可用的工具，可以让我们创建性能更高的 docker 镜像。为了完成这项工作，我们需要将 --include-tools 添加到 pex 构建命令：

$ pex . -o web_pex.pex -c gunicorn --inject-args "--config /home/gunicorn/app/gunicorn.config.py" --include-to
ols

Copier après la connexion

Dockerfile 也将更新为多阶段构建以生成最终的映像：

FROM python:3.11.4-bullseye as deps
RUN mkdir -p /home/gunicorn/app
COPY web_pex.pex /home/gunicorn/
RUN PEX_TOOLS=1 /usr/local/bin/python3.11 /home/gunicorn/web_pex.pex venv --scope=deps --compile /home/gunicorn/app

FROM python:3.11.4-bullseye as srcs
RUN mkdir -p /home/gunicorn/app
COPY web_pex.pex /home/gunicorn
COPY config/gunicorn.config.py /home/gunicorn/app
RUN PEX_TOOLS=1 /usr/local/bin/python3.11 /home/gunicorn/web_pex.pex venv --scope=srcs --compile /home/gunicorn/app

FROM python:3.11.4-bullseye
RUN useradd -d /home/gunicorn -r -m -U -s /bin/bash gunicorn
COPY --from=deps --chown=gunicorn:gunicorn /home/gunicorn/app /home/gunicorn/app
COPY --from=srcs --chown=gunicorn:gunicorn /home/gunicorn/app /home/gunicorn/app
USER gunicorn
ENTRYPOINT /home/gunicorn/app/pex
EXPOSE 8000

Copier après la connexion

这将分离依赖项和源编译。当 python 进行编译时，它将创建一组特定于解释器的字节码，因此不必在运行时完成。这使得事情运行得更快。 docker 构建的唯一变化是 Dockerfile 不同，而运行命令保持不变：

$ docker buildx build  -f Dockerfile_pex_tools -t flask/web-pex:latest .
$ docker run -it -p 8000:8000 flask/web-pex:latest
[2023-08-25 01:25:47 +0000] [7] [INFO] Starting gunicorn 21.2.0
[2023-08-25 01:25:47 +0000] [7] [INFO] Listening at: http://0.0.0.0:8000 (7)
[2023-08-25 01:25:47 +0000] [7] [INFO] Using worker: sync
[2023-08-25 01:25:47 +0000] [8] [INFO] Booting worker with pid: 8
[2023-08-25 01:25:47 +0000] [9] [INFO] Booting worker with pid: 9

Copier après la connexion

查看容器内部，可以看到 gunicorn 用户的 ~/app 目录中 pex 的布局：

$ cd ~/app
$ ls
PEX-INFO  __main__.py  __pycache__  bin  gunicorn.config.py  include  lib  lib64  pex  pyvenv.cfg

Copier après la connexion

缓存文件也会早于gunicorn工人生成的时间显示，以表明它们确实是编译输出，而不仅仅是Python自然生成的：

$ ls -lah lib/python3.11/site-packages/flask/__pycache__/
total 388K
drwxr-xr-x 2 gunicorn gunicorn 4.0K Aug 25 01:03 .
drwxr-xr-x 4 gunicorn gunicorn 4.0K Aug 25 01:03 ..
-rw-r--r-- 1 gunicorn gunicorn 4.0K Aug 25 01:03 __init__.cpython-311.pyc
-rw-r--r-- 1 gunicorn gunicorn  249 Aug 25 01:03 __main__.cpython-311.pyc
-rw-r--r-- 1 gunicorn gunicorn  86K Aug 25 01:03 app.cpython-311.pyc
-rw-r--r-- 1 gunicorn gunicorn  32K Aug 25 01:03 blueprints.cpython-311.pyc

Copier après la connexion