图片类加工算子介绍

数据过滤

• 适用的文件格式：

  jpg、jpeg、png、bmp。

  tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。

• 算子功能描述：同时满足所有过滤条件的视频会被过滤掉。
• 参数配置样例：

  

图文提取

• 适用的文件格式：

  tar+jsonl；所有图片保存为tar包。图片格式支持：jpg、jpeg、png、bmp。图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。

• 各参数说明：

  待提取内容类型：提取图文压缩包中的JSON文本和图片；并对图片进行结构化解析。

• 参数配置样例：

  不需要配置参数。

• 提取样例：

  加工前：

  

  加工后：

  

图片元数据过滤

• 适用的文件格式：

  jpg、jpeg、png、bmp。

  tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。

• 各参数说明：

  待过滤内容类型：

  最小宽：宽低于此设置值，图片会被过滤。

  最小高：高低于此设置值，图片会被过滤。

  最小文件大小：文件大小低于该文件大小会被过滤，单位为B。

• 参数配置样例：

  

• 过滤样例：

  原数据集：

  

  过滤后：有一边低于1224的图片被过滤。

  

图文文本长度过滤

• 适用的文件格式：

  tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。

  图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。

• 各参数说明：

  待过滤内容类型：过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度统计为1。

• 参数配置样例：

  

• 过滤样例：
  图1 加工前
  
  图2 参数配置
  
  图3 加工后
  

图文文本语言过滤

• 适用的文件格式：

  tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。

  图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。

• 各参数说明：

  待过滤内容类型：提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码），方便图文加工算子使用。

• 参数配置样例：

  

• 去重样例：
  图4 加工前
  
  图5 参数配置
  
  图6 加工后
  

图文去重

• 适用的文件格式：

  tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。

  图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。

• 各参数说明：

  待过滤内容类型：

  1. 基于结构化图片去重图文。
  2. 判断相同文本对应不同的图片数据是否超过单文本最大图片数阈值，如果超过则随机删除多余图片， 仅保留阈值以内的图文数量。
• 参数配置样例：

  

• 去重样例：

  

  图7 加工前
  
  图8 参数配置
  
  图9 加工后
  

图片去重

• 适用的文件格式：

  jpg、jpeg、png、bmp。

  tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。

• 各参数说明：

  待过滤内容类型：通过把图片结构化处理后，过滤重复的图片/图文对数据。

• 参数配置样例：

  不需要配置参数。

• 过滤样例：
  图10 加工前
  
  图11 加工后
  

色情图像检测

• 适用的文件格式：

  jpg、jpeg、png、bmp。

  tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。

• 各参数说明：

  待打标内容类型：对图片的涉黄程度进行评分， 分数越高越危险。 评分范围(0. 100)， 默认评分≥50分的视频可视为涉黄视频。

• 参数配置样例：

  不需要配置参数。

• 检测样例：

  检测结果以image_porn对象存储在标注文件中：

  suggestion:对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。

  confidence:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。

  label:模型检测出的具体色情标签，如果未检测出则为空。

  

危情图像检测

• 适用的文件格式：

  jpg、jpeg、png、bmp。

  tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。

• 各参数说明：

  待打标内容类型：给危情图片内容打标签。

• 参数配置样例：

  不需要配置参数。

• 检测样例：检测结果以image_danger对象存储在标注文件中:

  suggestion:对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。

  confidence:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。

  label:模型检测出的具体危情标签，如果未检测出则为空。

  

暴恐图像检测

• 适用的文件格式：

  jpg、jpeg、png、bmp。

  tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。

• 各参数说明：

  待打标内容类型：过滤暴恐图像。

• 参数配置样例：

  不需要配置参数

• 检测样例：检测结果以image_terrorism对象存储在标注文件中：

  suggestion:对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。

  confidence:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。

  label:模型检测出的具体暴恐标签，如果未检测出则为空。

  

标注物视觉prompt物体检测

• 适用的文件格式：

  jpg、jpeg、png、bmp。

• 算子功能描述：使用参考数据集作为视觉prompt，对待标注图片进行标注。
• 前置条件：

  需提前部署视觉交互检测模型（Pangu-CV-视觉交互检测-V3）。

  使用该算子时需要使用2个数据集：参考数据集、待标注数据集。参考数据集需要提前在“数据工程 > 数据标注”中完成标注。标注参考数据集时，标注类型需要选择“标注物视觉Prompt物体检测”，标注数量建议1张图片。

• 各参数说明：
  • 模型选择：选择预先部署好的视觉交互检测模型（Pangu-CV-视觉交互检测-V3）。
  • 参考数据集：该数据集由数据工程的标注模块生成，用于作为视觉prompt，对待加工数据集进行推理。
  • 标注优先方式：该参数用于在待加工样本已具备人工标注的情况下，系统对比模型预测框与人工标注框的重叠度（IoU）进行判断，并决定最终使用哪一方结果。阈值可设定于 0~1；当 IoU ≥ 阈值时若设置为“已有标注优先”，则保留人工标记框；若设置为“模型标注优先”，则以模型预测框为准。阈值越低，表示只要稍有重叠即可触发决定；阈值越高，则要求两框高度一致才生效。
  • IOU阈值：对IOU进行配置，该值即为人工标注框和模型框重叠度的阈值，作用如上所述。

标注物名称prompt物体检测

• 适用的文件格式：

  jpg、jpeg、png、bmp。

• 算子功能描述：使用参考数据集作为文本prompt，对待标注图片进行标注。
• 前置条件：

  需提前部署万物检测模型（Pangu-CV-万物检测-V2）。

  使用该算子时需要使用2个数据集：参考数据集、待标注数据集。参考数据集需要提前在“数据工程 > 数据标注”中完成标注。标注参考数据集时，标注类型需要选择“标注物名称Prompt物体检测”，标注数量建议1张图片。

• 各参数说明：
  • 模型选择：选择预先部署好的万物检测模型（Pangu-CV-万物分割-V2）。
  • 参考数据集：选择参考数据集，该数据集来源于数据工程的标注模块生成，用于作为文本prompt，对待加工数据集进行推理。
  • 标注优先方式：选该参数用于在待加工样本已具备人工标注的情况下，系统对比模型预测框与人工标注框的重叠度（IoU）进行判断，并决定最终使用哪一方结果。阈值可设定于 0~1；当 IoU ≥ 阈值时若设置为“已有标注优先”，则保留人工标记框；若设置为“模型标注优先”，则以模型预测框为准。阈值越低，表示只要稍有重叠即可触发决定；阈值越高，则要求两框高度一致才生效。
  • IOU阈值：对IOU进行配置，该值即为人工标注框和模型框重叠度的阈值，作用如上所述。
  图12 填写参数
  

图文异常字符过滤

• 适用的文件格式：

  tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。

  图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。

• 各参数说明：

  待转换内容类型：将文本数据中携带的异常字符替换为空值，数据条目不变。 1）不可见字符，比如U+0000-U+001F 2）表情符?? 3）网页标签符号<p> 4）特殊符号，比如● █ ◆ 5）乱码和无意义的字符�����。

• 参数配置样例：

  不需要配置参数。

• 过滤样例：
  图13 加工前
  
  图14 加工后
  

CV数据增强

在进行模型训练前，可以通过数据增强：

1. 提升模型泛化能力：通过人工扩展和多样化训练数据，模拟现实世界的复杂变化（如光照、视角、噪声），使模型在面对未见数据时表现更稳定。
2. 增强模型鲁棒性：让模型暴露于各种扰动和失真（如模糊、遮挡、噪声、颜色变化），提升其在非理想条件下的识别准确率和可靠性。
3. 防止过拟合&降低数据依赖：有效增加训练样本的多样性，缓解模型对有限原始数据的过度依赖和死记硬背（过拟合），以更低的成本获得更好的性能。

目前平台预置27种CV数据增强算子，算子及参数说明如下：

整体数据增强方法分为两种：1）不影响原始标注的增强；2）影响标注结果的增强。

• 方式1）增强时，仅对图片进行增强处理，如果原始数据中有xml标注，则会沿用原始标注xml，不会对xml内容进行更改，这种增强方式支持物体检测、语义分割、实例分割、旋转检测的数据类型，且标注形式需要为xml格式（受限于数据工程能力，不支持自定义数据集）。
• 使用方式2）增强时，除了对图片进行增强处理外，如果原始数据中有xml，原始的xml标注内容可能会发生更改，此时只支持使用最广泛的物体检测数据类型。当原始数据中没有xml时，则支持各种算法资产的数据类型（受限于数据工程能力，不支持自定义数据集）。

• 数据增强示例：
  1. 选择左侧导航目录“数据工程->数据加工->加工任务”，单击“创建加工任务”。
  2. 在“创建加工任务”页面，选择需要加工的数据集。
  3. 单击“下一步”，进入“加工步骤编排”页面，左侧列表为当前数据集可选择的加工算子。
     1. 在左侧“添加算子”分页勾选所需算子。
     2. 在右侧“加工步骤编排”页面配置各算子参数，可拖动算子以调整执行顺序。
     3. 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据加工任务时，可直接单击“选择加工模板”进行使用。

        若选择使用加工模板，将删除当前已编排的加工步骤。

        

  4. 加工步骤编排完成后，单击“下一步”进入任务配置页面。
     • 自动生成加工数据集，启用后任务运行成功自动生成加工数据集，可用于下游数据集发布；如关闭需在加工任务列表操作生成。

     需要填写数据集名称、描述和扩展信息（扩展信息为可选项，主要包括行业、语言和自定义信息）。

  5. 单击右下角“启动加工”，将启动加工任务。
  6. 在“加工任务 > 任务列表”页，单击任务ID，进入“加工任务详情”页，可以看到加工任务基本信息，原始数据来源，生成数据集等信息。

     

  7. 单击“生成数据集”链接，可以预览生成数据。

     

  8. 在“数据发布 > 发布任务”页，单击“创建发布任务”，选择生成数据集，配置并发布后即可用作后续训练任务。