算子包开发规范
Python算子包目录规范
假设算子包名称为video_clip.tar，算子包解压后目录结构：
+--- video_clip # 与tar包名称保证一致 | +--- program_package # python算子目录 | | +--- install.sh # 安装脚本，可选 | | +--- process.py # 算子代码，必填
process.py文件开发规范
算子包必须包含一个名为process.py脚本，根据算子配置文件中auto-data-loading字段值分为两种开发模式。
模式一（auto-data-loading为true）
适用场景：除了以下三类场景，推荐使用该模式。
- 输入数据集为多模态数据集场景：例如图片+文本，视频+文本等由两种及以上模态组合的数据集。
- 输出数据集模态不在以下范围内：文本、图片、视频、音频。
- 需要将整个数据集作为输入的场景：例如去重类算。
process.py开发规范如下所示，process.py文件包含三个类：
1.PreProcess：算子预处理相关逻辑（选填）。
算子调用GPU/NPU做模型推理之前的、于CPU中计算的部分。拆分算子预处理逻辑有利于CPU计算与GPU/NPU计算的解耦，提高GPU/NPU利用率。
2.Process：算子推理相关逻辑 （必填）。
建议只包含模型的加载及推理部分，将预处理和后处理编写在PreProcess及PostProcess中。
3.PostProcess: 算子后处理相关逻辑 （可选）。
如算子在推理完成后，仍然有较重的、于CPU中计算的后处理逻辑，也建议将这部分逻辑拆分，编写在PostProcess中。
算子框架的调用顺序为preproces->process->postprocess。
import pandas as pd import ma_utils as utils logger = utils.FileLogger.get_logger() class PreProcess(): def __init__(self, args): """ :param args: 算子参数，包含算子的业务参数以及默认参数obs_input_path（输入obs路径）和obs_output_path(输出obs路径) """ pass def __call__(self, input: pd.DataFrame) -> pd.DataFrame: """ :param input:输入参数 文本模态-JSONL/CSV文件： 框架提取JSONL/CSV的样本内容传递给算子，每个JSONL/CSV文件调用一次算子,DataFrame的字段名与JSONL/CSV文件中的定义一致 文本模态-其它文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子。DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-原始文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子，DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-Parquet文件： 框架提取Parquet的样本内容传递给算子，每个Parquet文件调用一次算子,DataFrame的字段名与Parquet文件中的定义一致， 其中有两个系统预定义字段:file_path（输入数据在算子本地的完整路径（算子框架会将数据集下载到算子本地目录中）） 和file_name（数据文件的文件名称（为文件的相对路径)） :return:输出参数，算子输出数据样本列表DataFrame，由框架做后续处理 """ pass class Process(): def __init__(self, args): """ :param args: 算子参数，包含算子的业务参数以及默认参数obs_input_path（输入obs路径）和obs_output_path(输出obs路径) """ pass def __call__(self, input: pd.DataFrame) -> pd.DataFrame: """ :param input:输入参数 文本模态-JSONL/CSV文件： 框架提取JSONL/CSV的样本内容传递给算子，每个JSONL/CSV文件调用一次算子,DataFrame的字段名与JSONL/CSV文件中的定义一致 文本模态-其它文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子。DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-原始文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子，DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-Parquet文件： 框架提取Parquet的样本内容传递给算子，每个Parquet文件调用一次算子,DataFrame的字段名与Parquet文件中的定义一致， 其中有两个系统预定义字段:file_path（输入数据在算子本地的完整路径（算子框架会将数据集下载到算子本地目录中）） 和file_name（数据文件的文件名称（为文件的相对路径）） :return:输出参数，算子输出数据样本列表DataFrame，由框架做后续处理 """ pass class PostProcess(): def __init__(self, args): """ :param args: 算子参数，包含算子的业务参数以及默认参数obs_input_path（输入obs路径）和obs_output_path(输出obs路径) """ pass def __call__(self, input: pd.DataFrame) -> pd.DataFrame: """ :param input:输入参数 文本模态-JSONL/CSV文件： 框架提取JSONL/CSV的样本内容传递给算子，每个JSONL/CSV文件调用一次算子,DataFrame的字段名与JSONL/CSV文件中的定义一致 文本模态-其它文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子。DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-原始文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子，DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-Parquet文件： 框架提取Parquet的样本内容传递给算子，每个Parquet文件调用一次算子,DataFrame的字段名与Parquet文件中的定义一致， 其中有两个系统预定义字段:file_path（输入数据在算子本地的完整路径（算子框架会将数据集下载到算子本地目录中）） 和file_name（数据文件的文件名称（为文件的相对路径）） :return:输出参数，算子输出数据样本列表DataFrame，由框架做后续处理 """ pass
模式二（auto-data-loading为false）：
适用于以下三类场景：
- 输入数据集为多模态数据集场景：例如图片+文本，视频+文本等由两种及以上模态组合的数据集；
- 输出数据集模态不在以下范围内：文本、图片、视频、音频；
- 需要将整个数据集作为输入的场景：例如去重类算子。
process.py开发规范如下所示，process.py文件包含三个类：
1.PreProcess：算子预处理相关逻辑（选填）
算子调用GPU/NPU做模型推理之前的、于CPU中计算的部分。拆分算子预处理逻辑有利于CPU计算与GPU/NPU计算的解耦，提高GPU/NPU利用率。
2.Process：算子推理相关逻辑 （必填）
建议只包含模型的加载及推理部分，将预处理和后处理编写在PreProcess及PostProcess中。
3.PostProcess: 算子后处理相关逻辑 （可选）
如算子在推理完成后，仍然有较重的、于CPU中计算的后处理逻辑，也建议将这部分逻辑拆分，编写在PostProcess中。
算子框架的调用顺序为preproces->process->postprocess。
import pandas as pd class Process(): def __init__(self, args): """ :param args: 算子参数，包含算子的业务参数以及默认参数obs_input_path（输入obs路径）和obs_output_path(输出obs路径) """ pass def __call__(self, input: pd.DataFrame): """ :param input 输入参数，在模式二的情况下，input为空的DataFrame :return: 无返回值 """ pass
算子基础镜像预置依赖清单
算子基础镜像预置的依赖包以及版本号如下表所示：
|
依赖包名 |
版本号 |
|---|---|
|
absl-py |
2.1.0 |
|
accelerate |
1.0.1 |
|
aclruntime |
0.0.2 |
|
addict |
2.4.0 |
|
aiohappyeyeballs |
2.4.3 |
|
aiohttp |
3.11.1 |
|
aiosignal |
1.3.1 |
|
ais-bench |
0.0.2 |
|
akg |
2.2 |
|
albumentations |
1.3.1 |
|
antlr4-python3-runtime |
4.9.3 |
|
apex |
0.1.dev20241029+ascend |
|
ascend-faultdiag |
6.0.0 |
|
ascend-training-accuracy-tools |
1.0 |
|
ascendebug |
0.1.0 |
|
astroid |
3.0.3 |
|
asttokens |
2.4.1 |
|
async-timeout |
5.0.1 |
|
attrs |
23.2.0 |
|
audioread |
3.0.1 |
|
auto-tune |
0.1.0 |
|
av |
12.0.0 |
|
blinker |
1.9.0 |
|
blobfile |
3.0.0 |
|
blosc2 |
2.5.1 |
|
boto3 |
1.23.10 |
|
botocore |
1.26.10 |
|
certifi |
2024.12.14 |
|
cffi |
1.16.0 |
|
charset-normalizer |
3.4.1 |
|
click |
8.1.7 |
|
click-aliases |
1.0.5 |
|
cloudpickle |
3.1.0 |
|
coloredlogs |
15.0.1 |
|
contourpy |
1.3.0 |
|
coverage |
7.3.0 |
|
crc32c |
2.7.1 |
|
cycler |
0.12.1 |
|
Cython |
3.0.2 |
|
dask |
2024.2.1 |
|
dataflow |
0.0.1 |
|
datasets |
3.0.1 |
|
debugpy |
1.8.8 |
|
decorator |
4.4.2 |
|
decord |
0.6.0 |
|
dill |
0.3.8 |
|
easydict |
1.12 |
|
einops |
0.8.0 |
|
entrypoints |
0.4 |
|
esdk-obs-python |
3.23.12 |
|
et-xmlfile |
2.0.0 |
|
exceptiongroup |
1.2.2 |
|
executing |
2.1.0 |
|
filelock |
3.16.1 |
|
flask |
2.3.3 |
|
flatbuffers |
24.12.23 |
|
fonttools |
4.55.0 |
|
frozenlist |
1.5.0 |
|
fsspec |
2024.6.1 |
|
fuzzywuzzy |
0.18.0 |
|
gnureadline |
8.2.10 |
|
gpytorch |
1.12 |
|
greenlet |
3.1.1 |
|
grpcio |
1.60.0 |
|
grpcio-tools |
1.60.0 |
|
gunicorn |
21.2.0 |
|
h5py |
3.9.0 |
|
hccl |
0.1.0 |
|
hccl-parser |
0.1 |
|
huaweicloud-sdk-python-modelarts-dataset |
0.1.5 |
|
huggingface-hub |
0.26.2 |
|
humanfriendly |
10.0 |
|
idna |
3.10 |
|
ijson |
3.3.0 |
|
imageio |
2.36.1 |
|
imageio-ffmpeg |
0.5.1 |
|
importlib-metadata |
8.5.0 |
|
importlib-resources |
6.4.5 |
|
iniconfig |
2.0.0 |
|
iopath |
0.1.10 |
|
ipykernel |
6.7.0 |
|
ipython |
8.18.1 |
|
isort |
5.13.2 |
|
itsdangerous |
2.2.0 |
|
jaxtyping |
0.2.19 |
|
jedi |
0.19.2 |
|
jieba |
0.42.1 |
|
jinja2 |
3.1.4 |
|
jmespath |
1.0.1 |
|
joblib |
1.4.2 |
|
jsonlines |
4.0.0 |
|
jupyter-client |
7.4.9 |
|
jupyter-core |
5.7.2 |
|
keras |
3.2.1 |
|
kiwisolver |
1.4.5 |
|
lazy-import |
0.2.2 |
|
lazy-loader |
0.4 |
|
levenshtein |
0.26.0 |
|
libclang |
18.1.1 |
|
libcst |
1.2.0 |
|
librosa |
0.10.2.post1 |
|
linear-operator |
0.5.3 |
|
llm-datadist |
0.0.1 |
|
llvmlite |
0.41.1 |
|
locket |
1.0.0 |
|
lxml |
5.1.0 |
|
Markdown |
3.7 |
|
markdown-it-py |
3.0.0 |
|
MarkupSafe |
3.0.2 |
|
matplotlib |
3.7.3 |
|
matplotlib-inline |
0.1.7 |
|
mccabe |
0.7.0 |
|
mdurl |
0.1.2 |
|
mindspore-lite |
2.4.0 |
|
mindstudio-probe |
1.0.2 |
|
mindx-elastic |
0.0.1 |
|
ml-dtypes |
0.5.0 |
|
mmcv |
2.0.1 |
|
mmengine |
0.10.5 |
|
modelarts-pytorch-model-server |
1.0.6 |
|
moviepy |
2.1.2 |
|
moxing-framework |
2.2.10 |
|
mpi4py |
3.1.6 |
|
mpmath |
1.3.0 |
|
msgpack |
1.1.0 |
|
msit |
7.0.0rc630 |
|
msit-benchmark |
7.0.0rc2 |
|
msit-compare |
7.0.0rc2 |
|
msit-llm |
7.0.0rc2 |
|
msit-surgeon |
7.0.0rc2 |
|
msprof-analyze |
1.2.0 |
|
multidict |
6.1.0 |
|
multiprocess |
0.70.16 |
|
mypy-extensions |
1.0.0 |
|
msobjdump |
0.1.0 |
|
namex |
0.0.8 |
|
ndindex |
1.9.2 |
|
nest-asyncio |
1.6.0 |
|
netifaces |
0.11.0.post20240306102544 |
|
networkx |
3.2.1 |
|
numba |
0.58.1 |
|
numexpr |
2.8.6 |
|
numpy |
1.26.4 |
|
omegaconf |
2.3.0 |
|
onnx |
1.17.0 |
|
onnxconverter-common |
1.14.0 |
|
onnxruntime |
1.18.0 |
|
op-compile-tool |
0.1.0 |
|
op-gen |
0.1 |
|
op-test-frame |
0.1 |
|
opc-tool |
0.1.0 |
|
opencv-python |
4.9.0.80 |
|
opencv-python-headless |
4.8.1.78 |
|
openpyxl |
3.1.5 |
|
optree |
0.13.1 |
|
orjson |
3.10.7 |
|
packaging |
24.2 |
|
pandas |
1.3.5 |
|
parso |
0.8.4 |
|
partd |
1.4.2 |
|
pathlib2 |
2.3.7.post1 |
|
peft |
0.7.1 |
|
pexpect |
4.9.0 |
|
pillow |
10.4.0 |
|
pip |
21.0.1 |
|
platformdirs |
4.3.6 |
|
pluggy |
1.5.0 |
|
ply |
3.11 |
|
pooch |
1.8.2 |
|
portalocker |
2.10.1 |
|
prettytable |
3.12.0 |
|
proglog |
0.1.10 |
|
prometheus-client |
0.14.1 |
|
prompt-toolkit |
3.0.48 |
|
propcache |
0.2.0 |
|
protobuf |
3.20.2 |
|
psutil |
6.0.0 |
|
ptyprocess |
0.7.0 |
|
pure-eval |
0.2.3 |
|
py-cpuinfo |
9.0.0 |
|
pyarrow |
18.0.0 |
|
pybind11 |
2.13.6 |
|
pyclipper |
1.3.0.post6 |
|
pycocotools |
2.0.7 |
|
pycparser |
2.22 |
|
pycryptodome |
3.21.0 |
|
pycryptodomex |
3.21.0 |
|
pygments |
2.18.0 |
|
pylint |
3.0.2 |
|
pynndescent |
0.5.13 |
|
pyparsing |
3.2.0 |
|
pypng |
0.20220715.0 |
|
pytest |
7.4.3 |
|
python-dateutil |
2.9.0.post0 |
|
python-dotenv |
1.0.1 |
|
pytz |
2024.2 |
|
PyWavelets |
1.4.1 |
|
PyYAML |
6.0.1 |
|
pyzmq |
26.2.0 |
|
pydub |
0.25.1 |
|
qudida |
0.0.4 |
|
rapidfuzz |
3.10.1 |
|
redis |
5.1.1 |
|
regex |
2024.9.11 |
|
requests |
2.32.2 |
|
rich |
13.9.4 |
|
rouge-metric |
1.0.1 |
|
s3transfer |
0.5.2 |
|
safetensors |
0.4.5 |
|
schedule-search |
0.0.1 |
|
scikit-image |
0.22.0 |
|
scikit-learn |
1.5.1 |
|
scipy |
1.10.1 |
|
sentencepiece |
0.2.0 |
|
setuptools |
75.8.0 |
|
shapely |
2.0.3 |
|
show-kernel-debug-data |
0.1.0 |
|
shyaml |
0.6.2 |
|
six |
1.16.0 |
|
skl2onnx |
1.17.0 |
|
soundfile |
0.12.1 |
|
soxr |
0.5.0.post1 |
|
SQLAlchemy |
2.0.36 |
|
stack-data |
0.6.3 |
|
sympy |
1.13.0 |
|
setuptools |
57.5.0 |
|
soundfile |
0.13.1 |
|
tables |
3.9.2 |
|
tabulate |
0.9.0 |
|
tailor |
0.3.4 |
|
te |
0.4.0 |
|
tensorboard |
2.18.0 |
|
tensorboard-data-server |
0.7.2 |
|
termcolor |
2.5.0 |
|
terminaltables |
3.1.10 |
|
tfrecord |
1.14.5 |
|
threadpoolctl |
3.5.0 |
|
tifffile |
2024.8.30 |
|
tiktoken |
0.7.0 |
|
timm |
1.0.9 |
|
tokenizers |
0.20.3 |
|
tomli |
2.1.0 |
|
tomlkit |
0.13.2 |
|
toolz |
1.0.0 |
|
torch |
2.1.0 |
|
torch-npu |
2.1.0 |
|
torchvision |
0.16.0 |
|
tornado |
6.4.1 |
|
tqdm |
4.66.3 |
|
traitlets |
5.14.3 |
|
transformers |
4.45.0 |
|
transformers-stream-generator |
0.0.5 |
|
typeguard |
4.4.1 |
|
typing-extensions |
4.8.0 |
|
typing-inspect |
0.9.0 |
|
tzdata |
2024.2 |
|
tenacity |
9.1.2 |
|
umap-learn |
0.5.6 |
|
urllib3 |
1.26.7 |
|
wcwidth |
0.2.13 |
|
werkzeug |
3.0.3 |
|
wheel |
0.45.1 |
|
XlsxWriter |
3.2.0 |
|
xmltodict |
0.13.0 |
|
xxhash |
3.5.0 |
|
yacs |
0.1.8 |
|
yapf |
0.43.0 |
|
yarl |
1.17.1 |
|
ydata-profiling |
4.16.1 |
|
zhdate |
0.1 |
|
zipp |
3.21.0 |
|
zstandard |
0.22.0 |
