文档首页/ 智能数据湖 AI DataLake/ 用户指南/ 使用AI DataLake镜像/ 预置镜像内置Python包清单(Flink)
更新时间:2026-11-18 GMT+08:00
分享

预置镜像内置Python包清单(Flink)

AI DataLake的预置Flink镜像已集成PyFlink运行环境。提交Flink Python作业、或在JAR/SQL作业中使用Python UDF时,可以直接使用下表中的包,不需要额外投递依赖。

运行时位于/opt/venv,解释器路径/opt/venv/bin/python。

运行环境

项

值

Python

3.9.11

运行时目录

/opt/venv

解释器

/opt/venv/bin/python

PyFlink

apache-flink 1.20.0

Flink版本

1.20.0

glibc

2.34

包清单

运行时内共有42个已安装包,版本如下。

软件包

版本

apache-flink

1.20.0

apache-flink-libraries

1.20.0

apache-beam

2.48.0

avro

1.12.1

certifi

2026.10.19

charset-normalizer

3.5.2

cloudpickle

2.2.1

crcmod

1.7

dill

0.3.1.1

dnspython

2.7.0

docopt

0.6.2

fastavro

1.12.2

fasteners

0.20

find_libpython

0.5.1

grpcio

1.80.0

hdfs

2.7.3

httplib2

0.22.0

idna

3.20

numpy

1.24.4

objsize

0.6.1

orjson

3.11.5

pandas

2.3.3

pemja

0.4.1

pip

22.0.4

proto-plus

1.27.1

protobuf

4.23.4

py4j

0.10.9.7

pyarrow

11.0.0

pydot

1.4.2

pymongo

4.18.3

pyparsing

3.3.3

python-dateutil

2.9.0.post0

pytz

2026.5

regex

2026.1.15

requests

2.32.5

ruamel.yaml

0.19.1

setuptools

58.1.0

six

1.17.0

typing_extensions

4.16.0

tzdata

2026.5

urllib3

2.6.3

zstandard

0.25.0

常用包与缺口

上表已覆盖数据处理、网络与序列化、存储客户端等常用场景,PyFlink运行时依赖也在其中。

如果镜像未内置的第三方库,请参考使用自定义Python环境补充。

在自定义镜像中补充包

在预置镜像基础上安装需要的包:

USER root
RUN /opt/venv/bin/python -m pip install --no-cache-dir \
      --index-url <pip 源地址> \
      <包名1> <包名2>
USER omm
  • 安装带本地扩展的包时,选择与glibc 2.34兼容的manylinux wheel;没有现成wheel时,在与预置镜像一致的容器内编译。
  • 安装完成后建议在Dockerfile里自检导入,把<包名>换成实际安装的包,例如RUN /opt/venv/bin/python -c "import <包名>",让构建阶段失败而不是让作业启动阶段失败。

相关文档