算子包开发规范
Python算子包目录规范
假设算子包名称为video_clip.tar，算子包解压后目录结构：
+--- video_clip # 与tar包名称保证一致 | +--- program_package # python算子目录 | | +--- install.sh # 安装脚本，可选 | | +--- process.py # 算子代码，必填
process.py文件开发规范
算子包必须包含一个名为process.py脚本，根据算子配置文件中auto-data-loading字段值分为两种开发模式。
模式一（auto-data-loading为true）
适用场景：除了以下三类场景，推荐使用该模式。
- 输入数据集为多模态数据集场景：例如图片+文本，视频+文本等由两种及以上模态组合的数据集。
- 输出数据集模态不在以下范围内：文本、图片、视频、音频。
- 需要将整个数据集作为输入的场景：例如去重类算子。
process.py开发规范如下所示，process.py文件包含三个类：
1.PreProcess：算子预处理相关逻辑（选填）。
算子调用GPU/NPU做模型推理之前的、在CPU中计算的部分。拆分算子预处理逻辑有利于CPU计算与GPU/NPU计算的解耦，提高GPU/NPU利用率。
2.Process：算子推理相关逻辑 （必填）。
建议只包含模型的加载及推理部分，将预处理和后处理编写在PreProcess及PostProcess中。
3.PostProcess: 算子后处理相关逻辑 （可选）。
如算子在推理完成后，仍然有较重的、在CPU中计算的后处理逻辑，也建议将这部分逻辑拆分，编写在PostProcess中。
算子框架的调用顺序为preproces->process->postprocess。
import pandas as pd import ma_utils as utils logger = utils.FileLogger.get_logger() class PreProcess(): def __init__(self, args): """ :param args: 算子参数，包含算子的业务参数以及默认参数obs_input_path（输入obs路径）和obs_output_path(输出obs路径) """ pass def __call__(self, input: pd.DataFrame) -> pd.DataFrame: """ :param input:输入参数 文本模态-JSONL/CSV文件： 框架提取JSONL/CSV的样本内容传递给算子，每个JSONL/CSV文件调用一次算子,DataFrame的字段名与JSONL/CSV文件中的定义一致 文本模态-其它文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子。DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-原始文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子，DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-Parquet文件： 框架提取Parquet的样本内容传递给算子，每个Parquet文件调用一次算子,DataFrame的字段名与Parquet文件中的定义一致， 其中有两个系统预定义字段:file_path（输入数据在算子本地的完整路径（算子框架会将数据集下载到算子本地目录中）） 和file_name（数据文件的文件名称（为文件的相对路径)） :return:输出参数，算子输出数据样本列表DataFrame，由框架做后续处理 """ pass class Process(): def __init__(self, args): """ :param args: 算子参数，包含算子的业务参数以及默认参数obs_input_path（输入obs路径）和obs_output_path(输出obs路径) """ pass def __call__(self, input: pd.DataFrame) -> pd.DataFrame: """ :param input:输入参数 文本模态-JSONL/CSV文件： 框架提取JSONL/CSV的样本内容传递给算子，每个JSONL/CSV文件调用一次算子,DataFrame的字段名与JSONL/CSV文件中的定义一致 文本模态-其它文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子。DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-原始文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子，DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-Parquet文件： 框架提取Parquet的样本内容传递给算子，每个Parquet文件调用一次算子,DataFrame的字段名与Parquet文件中的定义一致， 其中有两个系统预定义字段:file_path（输入数据在算子本地的完整路径（算子框架会将数据集下载到算子本地目录中）） 和file_name（数据文件的文件名称（为文件的相对路径）） :return:输出参数，算子输出数据样本列表DataFrame，由框架做后续处理 """ pass class PostProcess(): def __init__(self, args): """ :param args: 算子参数，包含算子的业务参数以及默认参数obs_input_path（输入obs路径）和obs_output_path(输出obs路径) """ pass def __call__(self, input: pd.DataFrame) -> pd.DataFrame: """ :param input:输入参数 文本模态-JSONL/CSV文件： 框架提取JSONL/CSV的样本内容传递给算子，每个JSONL/CSV文件调用一次算子,DataFrame的字段名与JSONL/CSV文件中的定义一致 文本模态-其它文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子。DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-原始文件： 框架获取数据集文件列表传递给算子，每个文件调用一次算子，DataFrame的字段名：file_path（输入数据在算子本地的完整路径 （算子框架会将数据集下载到算子本地目录中））和file_name（数据文件的文件名称） 图片/视频/音频-Parquet文件： 框架提取Parquet的样本内容传递给算子，每个Parquet文件调用一次算子,DataFrame的字段名与Parquet文件中的定义一致， 其中有两个系统预定义字段:file_path（输入数据在算子本地的完整路径（算子框架会将数据集下载到算子本地目录中）） 和file_name（数据文件的文件名称（为文件的相对路径）） :return:输出参数，算子输出数据样本列表DataFrame，由框架做后续处理 """ pass
模式二（auto-data-loading为false）：
适用于以下三类场景：
- 输入数据集为多模态数据集场景：例如图片+文本，视频+文本等由两种及以上模态组合的数据集；
- 输出数据集模态不在以下范围内：文本、图片、视频、音频；
- 需要将整个数据集作为输入的场景：例如去重类算子。
process.py开发规范如下所示，process.py文件包含三个类：
1.PreProcess：算子预处理相关逻辑（选填）
算子调用GPU/NPU做模型推理之前的、在CPU中计算的部分。拆分算子预处理逻辑有利于CPU计算与GPU/NPU计算的解耦，提高GPU/NPU利用率。
2.Process：算子推理相关逻辑 （必填）
建议只包含模型的加载及推理部分，将预处理和后处理编写在PreProcess及PostProcess中。
3.PostProcess: 算子后处理相关逻辑 （可选）
如算子在推理完成后，仍然有较重的、在CPU中计算的后处理逻辑，也建议将这部分逻辑拆分，编写在PostProcess中。
算子框架的调用顺序为preproces->process->postprocess。
import pandas as pd class Process(): def __init__(self, args): """ :param args: 算子参数，包含算子的业务参数以及默认参数obs_input_path（输入obs路径）和obs_output_path(输出obs路径) """ pass def __call__(self, input: pd.DataFrame): """ :param input 输入参数，在模式二的情况下，input为空的DataFrame :return: 无返回值 """ pass
算子基础镜像预置依赖清单
算子基础镜像预置的依赖包以及版本号如下表所示：
| 依赖包名 | 版本号 |
|---|---|
| absl-py | 2.1.0 |
| accelerate | 1.0.1 |
| aclruntime | 0.0.2 |
| addict | 2.4.0 |
| aiohappyeyeballs | 2.4.3 |
| aiohttp | 3.11.1 |
| aiosignal | 1.3.1 |
| ais-bench | 0.0.2 |
| akg | 2.2 |
| albumentations | 1.3.1 |
| antlr4-python3-runtime | 4.9.3 |
| apex | 0.1.dev20241029+ascend |
| ascend-faultdiag | 6.0.0 |
| ascend-training-accuracy-tools | 1.0 |
| ascendebug | 0.1.0 |
| astroid | 3.0.3 |
| asttokens | 2.4.1 |
| async-timeout | 5.0.1 |
| attrs | 23.2.0 |
| audioread | 3.0.1 |
| auto-tune | 0.1.0 |
| av | 12.0.0 |
| blinker | 1.9.0 |
| blobfile | 3.0.0 |
| blosc2 | 2.5.1 |
| boto3 | 1.23.10 |
| botocore | 1.26.10 |
| certifi | 2024.12.14 |
| cffi | 1.16.0 |
| charset-normalizer | 3.4.1 |
| click | 8.1.7 |
| click-aliases | 1.0.5 |
| cloudpickle | 3.1.0 |
| coloredlogs | 15.0.1 |
| contourpy | 1.3.0 |
| coverage | 7.3.0 |
| crc32c | 2.7.1 |
| cycler | 0.12.1 |
| Cython | 3.0.2 |
| dask | 2024.2.1 |
| dataflow | 0.0.1 |
| datasets | 3.0.1 |
| debugpy | 1.8.8 |
| decorator | 4.4.2 |
| decord | 0.6.0 |
| dill | 0.3.8 |
| easydict | 1.12 |
| einops | 0.8.0 |
| entrypoints | 0.4 |
| esdk-obs-python | 3.23.12 |
| et-xmlfile | 2.0.0 |
| exceptiongroup | 1.2.2 |
| executing | 2.1.0 |
| filelock | 3.16.1 |
| flask | 2.3.3 |
| flatbuffers | 24.12.23 |
| fonttools | 4.55.0 |
| frozenlist | 1.5.0 |
| fsspec | 2024.6.1 |
| fuzzywuzzy | 0.18.0 |
| gnureadline | 8.2.10 |
| gpytorch | 1.12 |
| greenlet | 3.1.1 |
| grpcio | 1.60.0 |
| grpcio-tools | 1.60.0 |
| gunicorn | 21.2.0 |
| h5py | 3.9.0 |
| hccl | 0.1.0 |
| hccl-parser | 0.1 |
| huaweicloud-sdk-python-modelarts-dataset | 0.1.5 |
| huggingface-hub | 0.26.2 |
| humanfriendly | 10.0 |
| idna | 3.10 |
| ijson | 3.3.0 |
| imageio | 2.36.1 |
| imageio-ffmpeg | 0.5.1 |
| importlib-metadata | 8.5.0 |
| importlib-resources | 6.4.5 |
| iniconfig | 2.0.0 |
| iopath | 0.1.10 |
| ipykernel | 6.7.0 |
| ipython | 8.18.1 |
| isort | 5.13.2 |
| itsdangerous | 2.2.0 |
| jaxtyping | 0.2.19 |
| jedi | 0.19.2 |
| jieba | 0.42.1 |
| jinja2 | 3.1.4 |
| jmespath | 1.0.1 |
| joblib | 1.4.2 |
| jsonlines | 4.0.0 |
| jupyter-client | 7.4.9 |
| jupyter-core | 5.7.2 |
| keras | 3.2.1 |
| kiwisolver | 1.4.5 |
| lazy-import | 0.2.2 |
| lazy-loader | 0.4 |
| levenshtein | 0.26.0 |
| libclang | 18.1.1 |
| libcst | 1.2.0 |
| librosa | 0.10.2.post1 |
| linear-operator | 0.5.3 |
| llm-datadist | 0.0.1 |
| llvmlite | 0.41.1 |
| locket | 1.0.0 |
| lxml | 5.1.0 |
| Markdown | 3.7 |
| markdown-it-py | 3.0.0 |
| MarkupSafe | 3.0.2 |
| matplotlib | 3.7.3 |
| matplotlib-inline | 0.1.7 |
| mccabe | 0.7.0 |
| mdurl | 0.1.2 |
| mindspore-lite | 2.4.0 |
| mindstudio-probe | 1.0.2 |
| mindx-elastic | 0.0.1 |
| ml-dtypes | 0.5.0 |
| mmcv | 2.0.1 |
| mmengine | 0.10.5 |
| modelarts-pytorch-model-server | 1.0.6 |
| moviepy | 2.1.2 |
| moxing-framework | 2.2.10 |
| mpi4py | 3.1.6 |
| mpmath | 1.3.0 |
| msgpack | 1.1.0 |
| msit | 7.0.0rc630 |
| msit-benchmark | 7.0.0rc2 |
| msit-compare | 7.0.0rc2 |
| msit-llm | 7.0.0rc2 |
| msit-surgeon | 7.0.0rc2 |
| msprof-analyze | 1.2.0 |
| multidict | 6.1.0 |
| multiprocess | 0.70.16 |
| mypy-extensions | 1.0.0 |
| msobjdump | 0.1.0 |
| namex | 0.0.8 |
| ndindex | 1.9.2 |
| nest-asyncio | 1.6.0 |
| netifaces | 0.11.0.post20240306102544 |
| networkx | 3.2.1 |
| numba | 0.58.1 |
| numexpr | 2.8.6 |
| numpy | 1.26.4 |
| omegaconf | 2.3.0 |
| onnx | 1.17.0 |
| onnxconverter-common | 1.14.0 |
| onnxruntime | 1.18.0 |
| op-compile-tool | 0.1.0 |
| op-gen | 0.1 |
| op-test-frame | 0.1 |
| opc-tool | 0.1.0 |
| opencv-python | 4.9.0.80 |
| opencv-python-headless | 4.8.1.78 |
| openpyxl | 3.1.5 |
| optree | 0.13.1 |
| orjson | 3.10.7 |
| packaging | 24.2 |
| pandas | 1.3.5 |
| parso | 0.8.4 |
| partd | 1.4.2 |
| pathlib2 | 2.3.7.post1 |
| peft | 0.7.1 |
| pexpect | 4.9.0 |
| pillow | 10.4.0 |
| pip | 21.0.1 |
| platformdirs | 4.3.6 |
| pluggy | 1.5.0 |
| ply | 3.11 |
| pooch | 1.8.2 |
| portalocker | 2.10.1 |
| prettytable | 3.12.0 |
| proglog | 0.1.10 |
| prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.48 |
| propcache | 0.2.0 |
| protobuf | 3.20.2 |
| psutil | 6.0.0 |
| ptyprocess | 0.7.0 |
| pure-eval | 0.2.3 |
| py-cpuinfo | 9.0.0 |
| pyarrow | 18.0.0 |
| pybind11 | 2.13.6 |
| pyclipper | 1.3.0.post6 |
| pycocotools | 2.0.7 |
| pycparser | 2.22 |
| pycryptodome | 3.21.0 |
| pycryptodomex | 3.21.0 |
| pygments | 2.18.0 |
| pylint | 3.0.2 |
| pynndescent | 0.5.13 |
| pyparsing | 3.2.0 |
| pypng | 0.20220715.0 |
| pytest | 7.4.3 |
| python-dateutil | 2.9.0.post0 |
| python-dotenv | 1.0.1 |
| pytz | 2024.2 |
| PyWavelets | 1.4.1 |
| PyYAML | 6.0.1 |
| pyzmq | 26.2.0 |
| pydub | 0.25.1 |
| qudida | 0.0.4 |
| rapidfuzz | 3.10.1 |
| redis | 5.1.1 |
| regex | 2024.9.11 |
| requests | 2.32.2 |
| rich | 13.9.4 |
| rouge-metric | 1.0.1 |
| s3transfer | 0.5.2 |
| safetensors | 0.4.5 |
| schedule-search | 0.0.1 |
| scikit-image | 0.22.0 |
| scikit-learn | 1.5.1 |
| scipy | 1.10.1 |
| sentencepiece | 0.2.0 |
| setuptools | 75.8.0 |
| shapely | 2.0.3 |
| show-kernel-debug-data | 0.1.0 |
| shyaml | 0.6.2 |
| six | 1.16.0 |
| skl2onnx | 1.17.0 |
| soundfile | 0.12.1 |
| soxr | 0.5.0.post1 |
| SQLAlchemy | 2.0.36 |
| stack-data | 0.6.3 |
| sympy | 1.13.0 |
| setuptools | 57.5.0 |
| soundfile | 0.13.1 |
| tables | 3.9.2 |
| tabulate | 0.9.0 |
| tailor | 0.3.4 |
| te | 0.4.0 |
| tensorboard | 2.18.0 |
| tensorboard-data-server | 0.7.2 |
| termcolor | 2.5.0 |
| terminaltables | 3.1.10 |
| tfrecord | 1.14.5 |
| threadpoolctl | 3.5.0 |
| tifffile | 2024.8.30 |
| tiktoken | 0.7.0 |
| timm | 1.0.9 |
| tokenizers | 0.20.3 |
| tomli | 2.1.0 |
| tomlkit | 0.13.2 |
| toolz | 1.0.0 |
| torch | 2.1.0 |
| torch-npu | 2.1.0 |
| torchvision | 0.16.0 |
| tornado | 6.4.1 |
| tqdm | 4.66.3 |
| traitlets | 5.14.3 |
| transformers | 4.45.0 |
| transformers-stream-generator | 0.0.5 |
| typeguard | 4.4.1 |
| typing-extensions | 4.8.0 |
| typing-inspect | 0.9.0 |
| tzdata | 2024.2 |
| tenacity | 9.1.2 |
| umap-learn | 0.5.6 |
| urllib3 | 1.26.7 |
| wcwidth | 0.2.13 |
| werkzeug | 3.0.3 |
| wheel | 0.45.1 |
| XlsxWriter | 3.2.0 |
| xmltodict | 0.13.0 |
| xxhash | 3.5.0 |
| yacs | 0.1.8 |
| yapf | 0.43.0 |
| yarl | 1.17.1 |
| ydata-profiling | 4.16.1 |
| zhdate | 0.1 |
| zipp | 3.21.0 |
| zstandard | 0.22.0 |
