预置镜像内置Python包清单(Flink)
AI DataLake的预置Flink镜像已集成PyFlink运行环境。提交Flink Python作业、或在JAR/SQL作业中使用Python UDF时,可以直接使用下表中的包,不需要额外投递依赖。
运行时位于/opt/venv,解释器路径/opt/venv/bin/python。
运行环境
| 项 | 值 |
|---|---|
| Python | 3.9.11 |
| 运行时目录 | /opt/venv |
| 解释器 | /opt/venv/bin/python |
| PyFlink | apache-flink 1.20.0 |
| Flink版本 | 1.20.0 |
| glibc | 2.34 |
包清单
运行时内共有42个已安装包,版本如下。
| 软件包 | 版本 |
|---|---|
| apache-flink | 1.20.0 |
| apache-flink-libraries | 1.20.0 |
| apache-beam | 2.48.0 |
| avro | 1.12.1 |
| certifi | 2026.10.19 |
| charset-normalizer | 3.5.2 |
| cloudpickle | 2.2.1 |
| crcmod | 1.7 |
| dill | 0.3.1.1 |
| dnspython | 2.7.0 |
| docopt | 0.6.2 |
| fastavro | 1.12.2 |
| fasteners | 0.20 |
| find_libpython | 0.5.1 |
| grpcio | 1.80.0 |
| hdfs | 2.7.3 |
| httplib2 | 0.22.0 |
| idna | 3.20 |
| numpy | 1.24.4 |
| objsize | 0.6.1 |
| orjson | 3.11.5 |
| pandas | 2.3.3 |
| pemja | 0.4.1 |
| pip | 22.0.4 |
| proto-plus | 1.27.1 |
| protobuf | 4.23.4 |
| py4j | 0.10.9.7 |
| pyarrow | 11.0.0 |
| pydot | 1.4.2 |
| pymongo | 4.18.3 |
| pyparsing | 3.3.3 |
| python-dateutil | 2.9.0.post0 |
| pytz | 2026.5 |
| regex | 2026.1.15 |
| requests | 2.32.5 |
| ruamel.yaml | 0.19.1 |
| setuptools | 58.1.0 |
| six | 1.17.0 |
| typing_extensions | 4.16.0 |
| tzdata | 2026.5 |
| urllib3 | 2.6.3 |
| zstandard | 0.25.0 |
在自定义镜像中补充包
在预置镜像基础上安装需要的包:
USER root
RUN /opt/venv/bin/python -m pip install --no-cache-dir \
--index-url <pip 源地址> \
<包名1> <包名2>
USER omm
- 安装带本地扩展的包时,选择与glibc 2.34兼容的manylinux wheel;没有现成wheel时,在与预置镜像一致的容器内编译。
- 安装完成后建议在Dockerfile里自检导入,把<包名>换成实际安装的包,例如RUN /opt/venv/bin/python -c "import <包名>",让构建阶段失败而不是让作业启动阶段失败。