图片类加工算子介绍
平台提供了图文类、图片类加工算子，算子能力清单见表1。
|
算子分类 |
算子名称 |
算子描述 |
|---|---|---|
|
数据提取 |
提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码），方便图文加工算子使用。 |
|
|
数据过滤 |
根据条件对数据进行过滤。 |
|
|
基于图片宽高、文件大小、宽高比阈值进行图片/图文数据清洗。 |
||
|
过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度均计数为1。 |
||
|
通过语种识别模型得到图文对的文本语种类型，“待保留语种”之外的图文对数据将被过滤。注：语种识别模型有小概率的误判可能性。 |
||
|
||
|
通过把图片结构化处理后，过滤重复的图片/图文对数据。 |
||
|
数据打标 |
给图像算子打标签 |
|
|
给危情图片内容打标签 |
||
|
过滤暴恐图像 |
||
|
数据标注 |
使用数据工程的交互式视觉AI辅助检测功能，人工给参考图片中的目标物体给出参考框，将该标注数据作为“视觉prompt”，生成参考数据集。使用视觉交互辅助标注算子，利用视觉prompt大模型在待处理图像中自动检测并输出所有同类视觉特征目标的边界框。（前置依赖数据工程 > 数据标注中的交互式视觉AI辅助检测功能生成参考数据集）。注：目前算子不支持多并发，加工数据量过大时，算子执行时长会相对增长。 |
|
|
使用数据工程的交互式自定义AI辅助检测功能，人工给参考图片中的目标物体给出文本标签，将该文本数据作为“文本prompt”，生成参考数据集。使用文本交互辅助标注算子，利用文本prompt大模型在待处理图像中自动检测并输出所有同类文本标签目标的边界框。（前置依赖数据工程 > 数据标注中的交互式自定义AI辅助检测功能生成参考数据集）。注：目前算子不支持多并发，加工数据量过大时，算子执行时长会相对增长。 |
||
|
数据转换 |
将文本数据中携带的异常字符替换为空值，数据条目不变。
|
图文提取
色情图像检测
- 适用的文件格式：
tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。
- 各参数说明：
待打标内容类型：对图片的涉黄程度进行评分， 分数越高越危险。 评分范围(0. 100)， 默认评分≥50分的视频可视为涉黄视频。
- 参数配置样例：
- 检测样例：
suggestion:对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。
confidence:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。
label:模型检测出的具体色情标签，如果未检测出则为空。
危情图像检测
- 适用的文件格式：
tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。
- 各参数说明：
- 参数配置样例：
- 检测样例：检测结果以image_danger对象存储在标注文件中:
suggestion:对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。
confidence:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。
label:模型检测出的具体危情标签，如果未检测出则为空。
暴恐图像检测
- 适用的文件格式：
tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。
- 各参数说明：
- 参数配置样例：
- 检测样例：检测结果以image_terrorism对象存储在标注文件中：
suggestion:对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。
confidence:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。
label:模型检测出的具体暴恐标签，如果未检测出则为空。
标注物视觉prompt物体检测
- 适用的文件格式：
- 算子功能描述：使用参考数据集作为视觉prompt，对待标注图片进行标注。
- 前置条件：
需提前部署视觉交互检测模型（Pangu-CV-视觉交互检测-V3）。
使用该算子时需要使用2个数据集：参考数据集、待标注数据集。参考数据集需要提前在“数据工程 > 数据标注”中完成标注。标注参考数据集时，标注类型需要选择“交互式视觉AI辅助标注”，标注数量建议1张图片。
- 各参数说明：
- 模型选择：选择预先部署好的视觉交互检测模型（Pangu-CV-视觉交互检测-V3）。
- 参考数据集：该数据集由数据工程的标注模块生成，用于作为视觉prompt，对待加工数据集进行推理。
- 标注优先方式：该参数用于在待加工样本已具备人工标注的情况下，系统对比模型预测框与人工标注框的重叠度（IoU）进行判断，并决定最终使用哪一方结果。阈值可设定于 0~1；当 IoU ≥ 阈值时若设置为“已有标注优先”，则保留人工标记框；若设置为“模型标注优先”，则以模型预测框为准。阈值越低，表示只要稍有重叠即可触发决定；阈值越高，则要求两框高度一致才生效。
- IOU阈值：对IOU进行配置，该值即为人工标注框和模型框重叠度的阈值，作用如上所述。
标注物名称prompt物体检测
- 适用的文件格式：
- 算子功能描述：使用参考数据集作为文本prompt，对待标注图片进行标注。
- 前置条件：
需提前部署万物检测模型（Pangu-CV-万物检测-V2）。
使用该算子时需要使用2个数据集：参考数据集、待标注数据集。参考数据集需要提前在“数据工程 > 数据标注”中完成标注。标注参考数据集时，标注类型需要选择“交互式自定义AI辅助检测”，标注数量建议1张图片。
- 各参数说明：
- 模型选择：选择预先部署好的万物检测模型（Pangu-CV-万物分割-V2）。
- 参考数据集：选择参考数据集，该数据集来源于数据工程的标注模块生成，用于作为文本prompt，对待加工数据集进行推理。
- 标注优先方式：选该参数用于在待加工样本已具备人工标注的情况下，系统对比模型预测框与人工标注框的重叠度（IoU）进行判断，并决定最终使用哪一方结果。阈值可设定于 0~1；当 IoU ≥ 阈值时若设置为“已有标注优先”，则保留人工标记框；若设置为“模型标注优先”，则以模型预测框为准。阈值越低，表示只要稍有重叠即可触发决定；阈值越高，则要求两框高度一致才生效。
- IOU阈值：对IOU进行配置，该值即为人工标注框和模型框重叠度的阈值，作用如上所述。
