# 算子配置文件规范 表1基本信息配置规范 | 参数名称 | 类型 | 是否必填 | 描述 | 约束 | |:---|:---|:---|:---|:---| | id | string | 是 | 算子英文简称。 | 以英文字符开头，可包含英文字符、阿拉伯数字和下划线"_"，字符长度不超过128，超过部分自动截断。 算子更新配置时不可修改id。 全空间可见算子id全空间唯一，本空间可见算子id在当前空间下唯一。 | | name | string | 是 | 算子展示名称。 | 字符长度不超过128，超过部分自动截断。 | | description | string | 否 | 算子描述。 | 字符长度不超过2000，超过部分自动截断。 | | author | string | 否 | 开发者名称。 | 字符长度不超过128，超过部分自动截断。 | | version | string | 是 | 算子版本。 | 字符长度不超过32，超过部分自动截断，格式为：数字.数字.数字。 | | tags | [tags] object | 是 | 算子标签，用于分类筛选。 | 见[表 tag配置规范]。 | | labels | Array of [label] objects | 否 | 打标算子输出的标签。 | 见[表 label配置规范]。 | | runtime | [runtime] object | 是 | 算子运行配置。 | 见[表 runtime配置规范]。 | | arguments | Array of [argument] objects | 否 | 算子输入参数列表。 | 见[表5]。 | 表2tag配置规范 | 参数名称 | 类型 | 是否必填 | 描述 | 约束 | |:---|:---|:---|:---|:---| | language | Array of strings | 是 | 算子支持处理的数据语种列表，例如zh，en等。 | 单个字符串长度不超过32，超过部分自动截断。 填写国际语种简码。 | | format | Array of strings | 是 | 算子支持处理的数据集文件格式后缀列表，例如json，csv，mp4等。 | 单个字符串长度不超过32，超过部分自动截断。 | | category | string | 是 | 算子类别。 | 单选，可选取值如下： - 数据提取 - 数据抽样 - 数据转换 - 数据过滤 - 数据去重 - 数据打标 - 其他 | | modal | Array of strings | 是 | 算子支持处理的数据模态列表。 | 多选，可选取值如下： - TEXT（文本） - IMAGE（图片） - VIDEO（视频） - AUDIO（音频） - OTHER（其他场景） - DOCUMENT（文档） - GEOSPATIAL（坐标） - TABULAR（表格） - 3D（3D视觉数据） - MULTIMODAL（多模态） | | industry | Array of strings | 否 | 算子支持处理的行业列表。 | 多选，可选取值如下： - GENERAL（通用） - GOVERNMENT（政务） - FINANCE（金融） - MEDICAL（医疗） - LAW（法律） - AUTOMOBILE（汽车） - COAL_MINE（煤矿） - MILITARY（军事） - TAXATION（税务） - EDUCATION（教育） - COMPUTER（计算机） - INTERNET（互联网） - RETAIL（零售） - FOOD（食品） - ENERGY（能源） - MEDIA（传媒）INDUSTRY_AND_COMMERCE（工商） - TRANSPORTATION（运输） -E_COMMERCE（电商） - MANUFACTURING（制造） | | field | Array of strings | 否 | 算子支持处理的领域列表。 | 多选，可选取值如下： - TEXT(文本) - IMAGE（图片） - VIDEO（视频） - AUDIO（音频） - MULTIMODAL（多模态） - CV（机器视觉） - WEATHER（气象） - PREDICT（预测） - OTHER（其他） | | task-category | Array of strings | 否 | 算子支持处理的任务类型列表。 | 多选，可选取值如下： SINGLE_QA（单轮问答） SINGLE_QA_MAN（单轮问答（带人设）） MULTI_QA（多轮问答） MULTI_QA_MAN（多轮问答（带人设）） QA_SORTING（问答排序） DPO_QA（偏好问答） DPO_QA_MAN（偏好问答（带人设）） PLAIN_TXT（文档） PRE_TRAINED_TEXT（预训练文本） WEB_PAGE（网页）IMAGE（图片） IMAGE_AND_CAPTION（图片理解） IMAGE_AND_QA（图片QA） IMAGE_ANOMALY_DETECTION（异常检测） IMAGE_CHANGE_DETECTION（变化检测） IMAGE_CLASSIFICATION（图像分类） IMAGE_INSTANCE_SEGMENTATION（实例分割） IMAGE_OBJECT_DETECTION（物体检测） IMAGE_POSE_ESTIMATION（姿态估计） IMAGE_ROTATION_DETECTION（旋转检测） IMAGE_SEMANTIC_SEGMENTATION（语义分割） REGRESSION_CLASSIFICATION（分类） REGRESSION_CLASSIFICATION_HG（回归） TIME_SERIES_PREDICT（时序分类） TIME_SERIES_PREDICT_HG（时序回归） VIDEO（视频） VIDEO_AND_ANNOTATION（视频+标注） VIDEO_CLASSIFICATION（视频分类） VIDEO_EVENT_DETECTION（事件检测） VIDEO_UNDERSTANDING（视频理解） OCEAN_WEATHER（海洋气象） AUDIO（音频） CUSTOMIZATION（自定义）MULTI_MODAL_UNDERSTANDING_PRETRAIN（多模态预训练）MULTI_MODAL_UNDERSTANDING_FINE_TUNE（多模态微调） | | custom | Array of strings | 否 | 用户自定义算子标签列表。 | 单个字符串长度不超过32，超过部分自动截断。 | 表3runtime配置规范 | 参数名称 | 类型 | 是否必填 | 描述 | 约束 | |:---|:---|:---|:---|:---| | cpu-arch | Array of strings | 是 | 算子运行支持的CPU架构列表。 | 多选，可选取值如下： - ARM - | | xpu-devices | Array of strings | 否 | 算子运行的支持卡设备型号列表，当算子运行涉及NPU时必填。 | 可选取值如下： - SNT9B 当参数runtime.resources中存在某个resource的npu个数大于0的情况时，该参数必填，可选值为SNT9B。 | | environment | string | 是 | 算子包类型，仅支持纯python算子包类型。 | 单选，可选取值如下： - PYTHON | | entrypoint | string | 是 | 算子运行的启动命令。 | 字符长度不超过128，超过部分自动截断。 当environment=python时填写固定名称process.py，暂不支持修改。 | | auto-data-loading | boolean | 是 | 是否自动加载数据 | 当值为true时，由框架处理输入输出；当值为false时，由用户自己处理输入输出。 | | resources | Array of [resource] objects | 否 | 算子单实例运行所需的资源大小配置列表。 | 当environment=python时必填。 | 表4resource配置规范 | 参数名称 | 类型 | 是否必填 | 描述 | 约束 | |:---|:---|:---|:---|:---| | cpu | integer | 是 | 单实例默认CPU资源量（单位：vCPU）。 | 用户需结合实际订购的通算单元数量进行配置。 | | memory | integer | 是 | 单实例默认memory资源量（单位：MB）。 | 用户需结合实际订购的通算单元数量进行配置。 | | npu | integer | 否 | 单实例默认NPU资源量（单位：卡）。 | 用户需结合实际订购的智算单元规格和数量进行配置。 | 表5argument配置规范 | 参数名称 | 类型 | 是否必填 | 描述 | 约束 | |:---|:---|:---|:---|:---| | key | string | 是 | 参数id，参数列表内必须唯一。 | 字符长度不超过128，超过部分自动截断。 | | name | string | 是 | 参数展示名称。 | 字符长度不超过128，超过部分自动截断。 | | type | string | 是 | 参数类型. | 单选，可选取值如下： - STRING - FLOAT - INT - ENUM（单选） - LIST（复选） - OBS（前端使用，选择OBS文件的前端组件参数） - BOOLEAN - LARGE_MODEL - LABEL_FILTER - DATASET | | tips | string | 否 | 参数说明。 | 字符长度不超过2000，超过部分自动截断。 | | min | float | 否 | 参数最小值。当type=INT或FLOAT时选填。 | 浮点数最多保留4位小数。 | | max | float | 否 | 参数最小值。当type=INT或FLOAT时选填。 | 浮点数最多保留4位小数。 | | between | boolean | 否 | 参数是否为范围型数值参数。当type=INT或FLOAT时选填，默认为false。 | - | | items | Array of [item] objects | 否 | 参数枚举项列表。当type=ENUM /LIST时必填。 | 当type=ENUM /LIST时该参数必填且枚举项个数至少为1。 | | required | boolean | 否 | 参数是否必填。 | 填写true或者false。 | | visible | boolean | 否 | 参数是否前端可见。 | 填写true或者false。 | | default | string | 否 | 参数默认值。 | 当visible=false且required=true时必须填默认值。 多个默认值时用逗号分隔，例如"SD,HD"。 数值范围型参数默认值格式为"min;max"。 | | task-category | Array of string | 否 | 数据集支持的任务类型列表，当type=DATASET时选填。 | 多选，可选取值如下： SINGLE_QA（单轮问答） SINGLE_QA_MAN（单轮问答（带人设）） MULTI_QA（多轮问答） MULTI_QA_MAN（多轮问答（带人设）） QA_SORTING（问答排序） DPO_QA（偏好问答） DPO_QA_MAN（偏好问答（带人设）） PLAIN_TXT（文档） PRE_TRAINED_TEXT（预训练文本） WEB_PAGE（网页） IMAGE（图片） IMAGE_AND_CAPTION（图片理解） IMAGE_AND_QA（图片QA） IMAGE_ANOMALY_DETECTION（异常检测） IMAGE_CHANGE_DETECTION（变化检测） IMAGE_CLASSIFICATION（图像分类） IMAGE_INSTANCE_SEGMENTATION（实例分割） IMAGE_OBJECT_DETECTION（物体检测） IMAGE_POSE_ESTIMATION（姿态估计） IMAGE_ROTATION_DETECTION（旋转检测） IMAGE_SEMANTIC_SEGMENTATION（语义分割） REGRESSION_CLASSIFICATION（分类） REGRESSION_CLASSIFICATION_HG（回归） TIME_SERIES_PREDICT（时序分类） TIME_SERIES_PREDICT_HG（时序回归） VIDEO（视频） VIDEO_AND_ANNOTATION（视频+标注） VIDEO_CLASSIFICATION（视频分类） VIDEO_EVENT_DETECTION（事件检测） VIDEO_UNDERSTANDING（视频理解） OCEAN_WEATHER（海洋气象） AUDIO（音频） CUSTOMIZATION（自定义） MULTI_MODAL_UNDERSTANDING_PRETRAIN（多模态预训练） MULTI_MODAL_UNDERSTANDING_FINE_TUNE（多模态微调） | | dataset-catalog | Array of string | 否 | 数据集来源列表，当type=DATASET时选填。 | 多选，可选取值如下： ORIGINAL(原始数据集) PROCESS(加工数据集) PUBLISH(发布数据集) | | asset-types | Array of string | 否 | 模型资产类型，当type=LARGE_MODEL时选填。 | 上限为50，超过部分自动截断。 | | asset-codes | Array of string | 否 | 模型资产代码，当type=LARGE_MODEL时选填。 | 上限为50，超过部分自动截断。 | | sub-asset-type | string | 否 | 模型的子资产类型，当type=LARGE_MODEL时选填。 | - | 表6item配置规范 | 参数名称 | 类型 | 是否必填 | 描述 | 约束 | |:---|:---|:---|:---|:---| | name | string | 是 | 枚举项名称。 | 字符长度不超过128，超过部分自动截断。 | | value | string | 是 | 枚举项对应的值。 | 字符长度不超过128，超过部分自动截断。 | | tips | string | 否 | 枚举项描述或说明。 | 字符长度不超过2000，超过部分自动截断。 | 表7label配置规范 | 参数名称 | 类型 | 是否必填 | 描述 | 约束 | |:---|:---|:---|:---|:---| | key | string | 是 | 标签的key值。 | 字符长度不超过128，超过部分自动截断，key值在不同算子间唯一。 | | name | string | 是 | 标签的名称。 | 字符长度不超过128，超过部分自动截断。 | | type | string | 是 | 标签的类型。 | 枚举值，单选，仅支持STRING、NUMERIC、ENUM、OBJECT | | min | float | 否 | 标签最小值 | 当type为NUMERIC类型时必填。 | | max | float | 否 | 标签最大值 | 当type为NUMERIC类型时必填。 | | items | Array of [labelItem] objects | 否 | 标签枚举列表 | 当type为ENUM类型时必填。 | | dimensions | Array of [labelDimension] objects | 否 | 标签一级维度 | 当type为OBJECT类型必填。 | 表8labelItem配置规范 | 参数名称 | 类型 | 是否必填 | 描述 | 约束 | |:---|:---|:---|:---|:---| | name | string | 是 | 枚举名称。 | 字符长度不超过128，超过部分自动截断。 | | value | string | 是 | 枚举值。 | 字符长度不超过128，超过部分自动截断。 | 表9labelDimension配置规范 | 参数名称 | 类型 | 是否必填 | 描述 | 约束 | |:---|:---|:---|:---|:---| | key | string | 是 | 二级标签key。 | 字符长度不超过128，超过部分自动截断。 | | name | string | 是 | 二级标签名称。 | 字符长度不超过128，超过部分自动截断。 | | type | string | 是 | 二级标签类型。 | 枚举值，单选，仅支持STRING、NUMERIC、ENUM | | min | float | 否 | 二级标签的最小值。 | 当type为NUMERIC类型时必填。 | | max | float | 否 | 二级标签的最大值。 | 当type为NUMERIC类型时必填。 | | items | Array of [labelItem] objects | 否 | 二级标签的枚举列表。 | 当type为ENUM类型时必填。 | 算子配置文件是一个YAML文件，用于描述算子的基本信息、功能参数、运行环境以及资源需求等。算子配置文件示例如下： ``` id: video_clip #【必填】算子英文简称，英文字母开头，只能包含英文字符、数字和下划线，最多128个字符，超过做截断 name: 视频Clip切分 #【必填】算子展示名称，最多128个字符，超过做截断 description: 将长视频按镜头切分为多个片段。 #算子描述，不超过2000个字符 author: "xxx Technology Co., Ltd." #可选，开发者或团队名称，例如 "Data Team"，不超过128个字符 version: 1.0.0 # 规则 "\\d+\\.\\d+\\.\\d+$" tags: # 【必填】算子标签，用于特定场景分类筛选 language: # 【必填】算子支持处理的语言类型, 语言简码，多选，选项只能选择国际标准语言简码，不超过32个字符 - zh - en -... format: # 【必填】算子支持处理的数据集文件格式，多选，不超过32个字符 - JSONL - TXT - CSV - HTML - MOBI - EPUB - DOCX - PDF - MP4 - AVI - BACKFLOW # 回流数据集 -... category: # 【必填】算子类型，用于前台的算子分类展示，单选，选项固定如下 - 数据提取 - 数据抽样 - 数据转换 - 数据过滤 - 数据去重 - 数据打标 - 其他 modal: # 【必填】算子支持处理的数据模态。多选，选项固定如下 - TEXT - IMAGE - VIDEO - AUDIO - OTHER custom: #用户自定义算子标签，多选，不超过32个字符 - 数据增强 - 预标注 -... runtime: cpu-arch: - ARM xpu-devices: - SNT9B # 算子资源配置： # npu算子配置：1卡 24core 192GB # cpu算子配置：1core 2G、1core 4G、2core 4G、4core 8G、8core 16G resources: - cpu: 1 memory: 2048 - cpu: 24 memory: 196608 # 单位：MB npu: 1 environment: python entrypoint: process.py auto-data-loading: true # 是否需要自动加载数据 #所有的业务参数均为算子的输入参数，参数的数据类型包含：STRING、FLOAT、INT、ENUM（单选框）、LIST（复选框）、OBS arguments: # STRING类型参数示例 - key: filter_keywords #【必填】 name: 过滤关键词 type: STRING tips: 命中的关键词所在的样本将会被过滤，多个关键词以英文字符","分隔。 #界面tips required: true visible: true default: 大保健 #参数默认值,可选，多个默认值使用,隔开 # INT/FLOAT数值范围类型参数示例 - key: length_of_characters #【必填】 name: 过滤时长范围 type: FLOAT #【必填】当type=int/float时，between字段为必填。 between: true # 是否取数值范围，当type=int/float时，between字段为必填。 min: 1.0 #参数最小值的范围，可选；float最多【4位小数】，超过做截断 max: 500.0 #参数最大值的范围，可选 tips: 过滤时长范围包含填入的边界值，float类型，单位：字符。文本长度在指定范围内的样本将被保留。 #界面tips required: true visible: true default: 100.0;300.0 #可选, 参数最大最小值的默认值，可选，未填写时使用"min;max"作为默认 # INT/FLOAT数值类型参数示例 - key: max_cropping_area_ratio name: 最大裁剪面积占比 type: FLOAT between: false # 是否是范围型，默认为false min: 0.0 #参数最小值的范围 max: 100.0 #参数最大值的范围 tips: 值在0.0~100.0之间，float类型，单位：%。裁剪面积占比（裁剪视频面积/原始视频面积）大于该值的样本将被过滤掉。 visible: true required: true default: 100 #参数默认值 # ENUM类型参数示例 - key: font_conversion name: 文本字体转换 type: ENUM #单选 items: - name: 简体转繁体 value: traditional - name: 繁体转简体 value: simplified required: true visible: true default: simplified # LIST类型参数示例 - key: resolution name: 分辨率 type: LIST #可多选 items: #参数选项，ENUM/LIST类型必填 - name: 流畅 #【必填】 value: SM #【必填】 tips: 480>分辨率≥360 - name: 标清 value: SD tips: 720>分辨率≥480 - name: 高清 value: HD tips: 1080>分辨率≥720 required: true visible: true default: SD,HD # 多个默认值使用,隔开 # OBS类型参数示例 - key: sensitive_word name: 敏感词库文件OBS路径 type: OBS tips: 敏感词库文件。 required: true visible: true default: NLP/system_resource/sensitive_word.csv # 默认词库的OBS路径。 # BOOLEAN类型参数示例 - key: parse_all name: 是否解析所有文件 type: BOOLEAN items: - name: 是 value: true - name: 否 value: false visible: true required: true default: false # LARGE_MODEL类型参数示例 - key: deepseek name: ds大模型 type: large_model visible: true required: true asset-types: - CV - NLP asset-codes: - Pangu-NLP-N1-32K - T2V-PE sub-asset-type: IC # LABEL_FILTER类型参数配置示例 - key: filter_arguments name: 过滤参数 type: LABEL_FILTER required: true visible: true # DATASET类型参数配置示例 - key: cv_datasets name: CV数据集 type: DATASET required: true visible: true task-category: - IMAGE_OBJECT_DETECTION - IMAGE_POSE_ESTIMATION dataset-catalog: - ORIGINAL - PROCESS ```