# 图片类加工算子介绍 平台提供了图文类、图片类加工算子，算子能力清单见[表1]。 表1图片类加工算子能力清单 | 算子分类 | 算子名称 | 算子描述 | |:---|:---|:---| | 数据提取 | [图文提取] | 提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码），方便图文加工算子使用。 | | 数据过滤 | [数据过滤] | 根据条件对数据进行过滤。 | | 数据过滤 | [图片元数据过滤] | 基于图片宽、高、文件大小、宽高比阈值进行图片/图文数据清洗。 | | 数据过滤 | [图文文本长度过滤] | 过滤文本长度不在"文本长度范围"内的图文对。一个中文汉字或一个英文字母，文本长度均计数为1。 | | 数据过滤 | [图文文本语言过滤] | 通过语种识别模型得到图文对的文本语种类型，"待保留语种"之外的图文对数据将被过滤。注：语种识别模型有小概率的误判可能性。 | | 数据过滤 | [图文去重] | - 基于结构化图片去重图文。 - 判断相同文本对应不同的图片数据是否超过"单文本最大图片数阈值"阈值，如果超过则随机删除多余图片，仅保留阈值以内的图文数量。 | | 数据过滤 | [图片去重] | 通过把图片结构化处理后，过滤重复的图片/图文对数据。 | | 数据打标 | [色情图像检测] | 给图像算子打标签 | | 数据打标 | [危情图像检测] | 给危情图片内容打标签 | | 数据打标 | [暴恐图像检测] | 过滤暴恐图像 | | 数据标注 | [标注物视觉prompt物体检测] | 使用数据工程的交互式视觉AI辅助检测功能，人工给参考图片中的目标物体给出参考框，将该标注数据作为"视觉prompt"，生成参考数据集。使用视觉交互辅助标注算子，利用视觉prompt大模型在待处理图像中自动检测并输出所有同类视觉特征目标的边界框。（前置依赖数据工程 \> 数据标注中的交互式视觉AI辅助检测功能生成参考数据集）。 注意：目前算子不支持多并发，加工数据量过大时，算子执行时长会相对增长。 | | 数据标注 | [标注物名称prompt物体检测] | 使用数据工程的交互式自定义AI辅助检测功能，人工给参考图片中的目标物体给出文本标签，将该文本数据作为"文本prompt"，生成参考数据集。使用文本交互辅助标注算子，利用文本prompt大模型在待处理图像中自动检测并输出所有同类文本标签目标的边界框。（前置依赖数据工程 \> 数据标注中的交互式自定义AI辅助检测功能生成参考数据集）。 注意：目前算子不支持多并发，加工数据量过大时，算子执行时长会相对增长。 | | 数据转换 | [图文异常字符过滤] | 将文本数据中携带的异常字符替换为空值，数据条目不变。 - 不可见字符，例如U+0000-U+001F - 表情符六 - 网页标签符号\ - 特殊符号，比如● █ ◆ - 乱码和无意义的字符����� | | 数据增强 | [CV数据模糊增强] | 通过模拟镜头失焦或运动模糊，提升模型对模糊图像的鲁棒性。 | | 数据增强 | [CV数据bgr通道交换增强] | 随机交换图像的BGR通道，模拟不同光照下的颜色变化。 | | 数据增强 | [CV数据亮度调整增强] | 改变图像整体亮度，增强模型对不同光照条件的适应能力。 | | 数据增强 | [CV数据对比度调整增强] | 调整图像对比度，模拟高光或暗部细节变化。 | | 数据增强 | [CV数据指数噪声增强] | 添加指数分布噪声，模拟图像采集中的非线性噪声。 | | 数据增强 | [CV数据翻转增强] | 对图像进行水平或垂直翻转，增加样本多样性。 | | 数据增强 | [CV数据伽马噪声增强] | 引入伽马分布噪声，模拟图像采集中的非均匀噪声。 | | 数据增强 | [CV数据高斯噪声增强] | 添加高斯白噪声，提升模型对噪声干扰的鲁棒性。 | | 数据增强 | [CV数据灰度转换增强] | 将彩色图像转为灰度图，增强模型对颜色信息不敏感的场景适应能力。 | | 数据增强 | [CV数据直方图均衡化增强] | 通过均衡化直方图提升图像对比度，改善低对比度图像的可辨识性。 | | 数据增强 | [CV数据色度饱和度调整增强] | 调整图像的色相、饱和度，模拟不同色彩风格或环境。 | | 数据增强 | [CV数据脉冲噪声增强] | 添加椒盐噪声，模拟图像传输的突发性噪声。 | | 数据增强 | [CV数据拉普拉斯噪声增强] | 引入拉普拉斯分布噪声，模拟边缘或高频区域的噪声。 | | 数据增强 | [CV数据运动模糊增强] | 模拟物体或相机运动造成的模糊，提升对动态场景的识别能力。 | | 数据增强 | [CV数据图像扩充填充增强] | 通过填充或扩展图像边界，避免裁剪导致信息丢失。 | | 数据增强 | [CV数据透视变换增强] | 模拟不同视角下的图像变形，增强模型对视角变化的鲁棒性。 | | 数据增强 | [CV数据泊松噪声增强] | 添加泊松噪声，模拟低光或高光下的光子计数噪声。 | | 数据增强 | [CV数据随机裁剪增强] | 随机裁剪图像区域，增强模型对局部特征的识别能力。 | | 数据增强 | [CV数据随机擦除增强] | 随机遮挡图像部分区域，提升模型对遮挡的鲁棒性。 | | 数据增强 | [CV数据瑞利噪声增强] | 添加瑞利分布噪声，模拟特定环境下的噪声特性。 | | 数据增强 | [CV数据图像旋转增强] | 对图像进行随机旋转，增强模型对方向变化的适应能力。 | | 数据增强 | [CV数据椒盐噪声增强] | 添加黑白像素点噪声，模拟图像损坏或传输错误。 | | 数据增强 | [CV数据放缩增强] | 对图像进行缩放，模拟不同距离或大小的物体。 | | 数据增强 | [CV数据锐化调整增强] | 增强图像边缘，提升细节识别能力。 | | 数据增强 | [CV数据剪切增强] | 对图像进行剪切变换，模拟视角偏移或遮挡。 | | 数据增强 | [CV数据图像平移增强] | 对图像进行平移，模拟物体在画面中的位置变化。 | | 数据增强 | [CV数据均匀噪声增强] | 添加均匀分布噪声，模拟系统中的随机干扰。 | #### 数据过滤 - 适用的文件格式： jpg、jpeg、png、bmp。 tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。 - 算子功能描述：同时满足所有过滤条件的视频会被过滤掉。 - 参数配置样例： ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601605959.png) #### 图文提取 - 适用的文件格式： tar+jsonl；所有图片保存为tar包。图片格式支持：jpg、jpeg、png、bmp。图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。 - 各参数说明： 待提取内容类型：提取图文压缩包中的JSON文本和图片；并对图片进行结构化解析。 - 参数配置样例： 不需要配置参数。 - 提取样例： 加工前： ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206350.png) 加工后： ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601725901.png) #### 图片元数据过滤 - 适用的文件格式： jpg、jpeg、png、bmp。 tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。 - 各参数说明： 待过滤内容类型： 最小宽：宽低于此设置值，图片会被过滤。 最小高：高低于此设置值，图片会被过滤。 最小文件大小：文件大小低于该文件大小会被过滤，单位为B。 - 参数配置样例： ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601725865.png) - 过滤样例： 原数据集： ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206424.png) 过滤后：有一边低于1224的图片被过滤。 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206344.png) #### 图文文本长度过滤 - 适用的文件格式： tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。 图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。 - 各参数说明： 待过滤内容类型：过滤文本长度不在"文本长度范围"内的图文对。一个中文汉字或一个英文字母，文本长度统计为1。 - 参数配置样例： ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601725925.png) - 过滤样例： 图1加工前 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601725883.png) 图2参数配置 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046740.png) 图3加工后 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206426.png) #### 图文文本语言过滤 - 适用的文件格式： tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。 图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。 - 各参数说明： 待过滤内容类型：提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码），方便图文加工算子使用。 - 参数配置样例： ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046738.png) - 去重样例： 图4加工前 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206422.png) 图5参数配置 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206400.png) 图6加工后 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046748.png) #### 图文去重 - 适用的文件格式： tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。 图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。 - 各参数说明： 待过滤内容类型： 1. 基于结构化图片去重图文。 2. 判断相同文本对应不同的图片数据是否超过单文本最大图片数阈值，如果超过则随机删除多余图片， 仅保留阈值以内的图文数量。 - 参数配置样例： ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601725869.png) - 去重样例： ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046792.png) 图7加工前 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601605921.png) 图8参数配置 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046722.png) 图9加工后 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601605919.png) #### 图片去重 - 适用的文件格式： jpg、jpeg、png、bmp。 tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。 - 各参数说明： 待过滤内容类型：通过把图片结构化处理后，过滤重复的图片/图文对数据。 - 参数配置样例： 不需要配置参数。 - 过滤样例： 图10加工前 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601725941.png) 图11加工后 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206354.png) #### 色情图像检测 - 适用的文件格式： jpg、jpeg、png、bmp。 tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。 - 各参数说明： 待打标内容类型：对图片的涉黄程度进行评分， 分数越高越危险。 评分范围(0. 100)， 默认评分≥50分的视频可视为涉黄视频。 - 参数配置样例： 不需要配置参数。 - 检测样例： 检测结果以image_porn对象存储在标注文件中： **suggestion:**对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。 **confidence**:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。 **label**:模型检测出的具体色情标签，如果未检测出则为空。 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046774.png) #### 危情图像检测 - 适用的文件格式： jpg、jpeg、png、bmp。 tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。 - 各参数说明： 待打标内容类型：给危情图片内容打标签。 - 参数配置样例： 不需要配置参数。 - 检测样例：检测结果以image_danger对象存储在标注文件中: **suggestion:**对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。 **confidence**:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。 **label**:模型检测出的具体危情标签，如果未检测出则为空。 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601605911.png) #### 暴恐图像检测 - 适用的文件格式： jpg、jpeg、png、bmp。 tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型。 - 各参数说明： 待打标内容类型：过滤暴恐图像。 - 参数配置样例： 不需要配置参数 - 检测样例：检测结果以image_terrorism对象存储在标注文件中： **suggestion:**对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。 **confidence**:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。 **label**:模型检测出的具体暴恐标签，如果未检测出则为空。 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046798.png) #### 标注物视觉prompt物体检测 - 适用的文件格式： jpg、jpeg、png、bmp。 - 算子功能描述：使用参考数据集作为视觉prompt，对待标注图片进行标注。 - 前置条件： 需提前部署视觉交互检测模型（Pangu-CV-视觉交互检测-V3）。 使用该算子时需要使用2个数据集：参考数据集、待标注数据集。参考数据集需要提前在"数据工程 \> 数据标注"中完成标注。标注参考数据集时，标注类型需要选择"标注物视觉Prompt物体检测"，标注数量建议1张图片。 - 各参数说明： - 模型选择：选择预先部署好的视觉交互检测模型（Pangu-CV-视觉交互检测-V3）。 - 参考数据集：该数据集由数据工程的标注模块生成，用于作为视觉prompt，对待加工数据集进行推理。 - 标注优先方式：该参数用于在待加工样本已具备人工标注的情况下，系统对比模型预测框与人工标注框的重叠度（IoU）进行判断，并决定最终使用哪一方结果。阈值可设定于 0\~1；当 IoU ≥ 阈值时若设置为"已有标注优先"，则保留人工标记框；若设置为"模型标注优先"，则以模型预测框为准。阈值越低，表示只要稍有重叠即可触发决定；阈值越高，则要求两框高度一致才生效。 - IOU阈值：对IOU进行配置，该值即为人工标注框和模型框重叠度的阈值，作用如上所述。 #### 标注物名称prompt物体检测 - 适用的文件格式： jpg、jpeg、png、bmp。 - 算子功能描述：使用参考数据集作为文本prompt，对待标注图片进行标注。 - 前置条件： 需提前部署万物检测模型（Pangu-CV-万物检测-V2）。 使用该算子时需要使用2个数据集：参考数据集、待标注数据集。参考数据集需要提前在"数据工程 \> 数据标注"中完成标注。标注参考数据集时，标注类型需要选择"标注物名称Prompt物体检测"，标注数量建议1张图片。 - 各参数说明： - 模型选择：选择预先部署好的万物检测模型（Pangu-CV-万物分割-V2）。 - 参考数据集：选择参考数据集，该数据集来源于数据工程的标注模块生成，用于作为文本prompt，对待加工数据集进行推理。 - 标注优先方式：选该参数用于在待加工样本已具备人工标注的情况下，系统对比模型预测框与人工标注框的重叠度（IoU）进行判断，并决定最终使用哪一方结果。阈值可设定于 0\~1；当 IoU ≥ 阈值时若设置为"已有标注优先"，则保留人工标记框；若设置为"模型标注优先"，则以模型预测框为准。阈值越低，表示只要稍有重叠即可触发决定；阈值越高，则要求两框高度一致才生效。 - IOU阈值：对IOU进行配置，该值即为人工标注框和模型框重叠度的阈值，作用如上所述。 图12填写参数 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601725899.png) #### 图文异常字符过滤 - 适用的文件格式： tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。 图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。 - 各参数说明： 待转换内容类型：将文本数据中携带的异常字符替换为空值，数据条目不变。 1）不可见字符，比如U+0000-U+001F 2）表情符?? 3）网页标签符号\ 4）特殊符号，比如● █ ◆ 5）乱码和无意义的字符�����。 - 参数配置样例： 不需要配置参数。 - 过滤样例： 图13加工前 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206382.png) 图14加工后 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601605933.png) #### CV数据增强 在进行模型训练前，可以通过数据增强： 1. 提升模型泛化能力：通过人工扩展和多样化训练数据，模拟现实世界的复杂变化（如光照、视角、噪声），使模型在面对未见数据时表现更稳定。 2. 增强模型鲁棒性：让模型暴露于各种扰动和失真（如模糊、遮挡、噪声、颜色变化），提升其在非理想条件下的识别准确率和可靠性。 3. 防止过拟合\&降低数据依赖：有效增加训练样本的多样性，缓解模型对有限原始数据的过度依赖和死记硬背（过拟合），以更低的成本获得更好的性能。 目前平台预置27种CV数据增强算子，算子及参数说明如下： | **算子名称** | **算子描述** | **是否重新生成标注** | **参数** | **参数说明** | |:---|:---|:---|:---|:---| | CV数据模糊增强 | 通过模拟镜头失焦或运动模糊，提升模型对模糊图像的鲁棒性。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据模糊增强 | 通过模拟镜头失焦或运动模糊，提升模型对模糊图像的鲁棒性。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据模糊增强 | 通过模拟镜头失焦或运动模糊，提升模型对模糊图像的鲁棒性。 | 否 | 模糊类型 | 模糊增强类型：gaussian模糊，median模糊，average模糊。 | | CV数据模糊增强 | 通过模拟镜头失焦或运动模糊，提升模型对模糊图像的鲁棒性。 | 否 | 模糊核大小 | 范围建议值为3\~20，整数类型。 | | CV数据bgr通道交换增强 | 随机交换图像的BGR通道，模拟不同光照下的颜色变化。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据bgr通道交换增强 | 随机交换图像的BGR通道，模拟不同光照下的颜色变化。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据亮度调整增强 | 改变图像整体亮度，增强模型对不同光照条件的适应能力。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据亮度调整增强 | 改变图像整体亮度，增强模型对不同光照条件的适应能力。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据亮度调整增强 | 改变图像整体亮度，增强模型对不同光照条件的适应能力。 | 否 | 亮度因子 | 亮度因子。\>1变亮；\<1变暗。 | | CV数据对比度调整增强 | 调整图像对比度，模拟高光或暗部细节变化。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据对比度调整增强 | 调整图像对比度，模拟高光或暗部细节变化。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据对比度调整增强 | 调整图像对比度，模拟高光或暗部细节变化。 | 否 | 对比度因子 | 对比度因子。\>1增加对比度；\<1减少对比度。 | | CV数据指数噪声增强 | 添加指数分布噪声，模拟图像采集中的非线性噪声。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据指数噪声增强 | 添加指数分布噪声，模拟图像采集中的非线性噪声。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据指数噪声增强 | 添加指数分布噪声，模拟图像采集中的非线性噪声。 | 否 | 指数分布尺度参数 | 范围建议值为5\~20。 | | CV数据翻转增强 | 对图像进行水平或垂直翻转，增加样本多样性。 | 是 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据翻转增强 | 对图像进行水平或垂直翻转，增加样本多样性。 | 是 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据翻转增强 | 对图像进行水平或垂直翻转，增加样本多样性。 | 是 | 翻转类型 | 翻转类型 | | CV数据伽马噪声增强 | 引入伽马分布噪声，模拟图像采集中的非均匀噪声。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据伽马噪声增强 | 引入伽马分布噪声，模拟图像采集中的非均匀噪声。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据伽马噪声增强 | 引入伽马分布噪声，模拟图像采集中的非均匀噪声。 | 否 | 形状参数 | 范围建议值为2。 | | CV数据伽马噪声增强 | 引入伽马分布噪声，模拟图像采集中的非均匀噪声。 | 否 | 尺度参数 | 范围建议10。 | | CV数据高斯噪声增强 | 添加高斯白噪声，提升模型对噪声干扰的鲁棒性。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据高斯噪声增强 | 添加高斯白噪声，提升模型对噪声干扰的鲁棒性。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据高斯噪声增强 | 添加高斯白噪声，提升模型对噪声干扰的鲁棒性。 | 否 | 高斯噪声均值 | 范围建议值为0。 | | CV数据高斯噪声增强 | 添加高斯白噪声，提升模型对噪声干扰的鲁棒性。 | 否 | 高斯噪声标准差 | 范围建议\[5,50\]，控制噪声强度。 | | CV数据灰度转换增强 | 将彩色图像转为灰度图，增强模型对颜色信息不敏感的场景适应能力。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据灰度转换增强 | 将彩色图像转为灰度图，增强模型对颜色信息不敏感的场景适应能力。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据直方图均衡化增强 | 通过均衡化直方图提升图像对比度，改善低对比度图像的可辨识性。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据直方图均衡化增强 | 通过均衡化直方图提升图像对比度，改善低对比度图像的可辨识性。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据直方图均衡化增强 | 通过均衡化直方图提升图像对比度，改善低对比度图像的可辨识性。 | 否 | 每个通道单独均衡化 | 是否对每个通道单独进行均衡化 | | CV数据色度饱和度调整增强 | 调整图像的色相、饱和度，模拟不同色彩风格或环境。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据,值为保留/删除。 | | CV数据色度饱和度调整增强 | 调整图像的色相、饱和度，模拟不同色彩风格或环境。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据色度饱和度调整增强 | 调整图像的色相、饱和度，模拟不同色彩风格或环境。 | 否 | 色度因子 | 色度因子，通常接近1.0。 | | CV数据色度饱和度调整增强 | 调整图像的色相、饱和度，模拟不同色彩风格或环境。 | 否 | 饱和度因子 | 饱和度因子，\>1增加饱和度，\<1减少饱和度。 | | CV数据脉冲噪声增强 | 添加椒盐噪声，模拟图像传输的突发性噪声。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据,值为保留/删除。 | | CV数据脉冲噪声增强 | 添加椒盐噪声，模拟图像传输的突发性噪声。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据脉冲噪声增强 | 添加椒盐噪声，模拟图像传输的突发性噪声。 | 否 | 噪声概率 | 范围建议值为0\~0.1。 | | CV数据脉冲噪声增强 | 添加椒盐噪声，模拟图像传输的突发性噪声。 | 否 | 噪声值个数 | 会在0\~255随机生成N个数值，作为噪声脉冲噪声的数值，最少为2。当为2时，脉冲噪声值为0或者255。 | | CV数据拉普拉斯噪声增强 | 引入拉普拉斯分布噪声，模拟边缘或高频区域的噪声。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据拉普拉斯噪声增强 | 引入拉普拉斯分布噪声，模拟边缘或高频区域的噪声。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据拉普拉斯噪声增强 | 引入拉普拉斯分布噪声，模拟边缘或高频区域的噪声。 | 否 | 噪声偏移参数 | 范围建议值为0。 | | CV数据拉普拉斯噪声增强 | 引入拉普拉斯分布噪声，模拟边缘或高频区域的噪声。 | 否 | 噪声尺度参数 | 范围建议15。 | | CV数据运动模糊增强 | 模拟物体或相机运动造成的模糊，提升对动态场景的识别能力。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据运动模糊增强 | 模拟物体或相机运动造成的模糊，提升对动态场景的识别能力。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据运动模糊增强 | 模拟物体或相机运动造成的模糊，提升对动态场景的识别能力。 | 否 | 模糊核大小 | 模糊核大小，建议5\~25。 | | CV数据运动模糊增强 | 模拟物体或相机运动造成的模糊，提升对动态场景的识别能力。 | 否 | 运动方向角度（度） | 运动方向角度，建议为0。 | | CV数据图像扩充填充增强 | 通过填充或扩展图像边界，避免裁剪导致信息丢失。 | 是 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据图像扩充填充增强 | 通过填充或扩展图像边界，避免裁剪导致信息丢失。 | 是 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据图像扩充填充增强 | 通过填充或扩展图像边界，避免裁剪导致信息丢失。 | 是 | 上边缘扩充尺寸（像素） | 对数据上边缘进行宽度填充，建议0\~100整数。 | | CV数据图像扩充填充增强 | 通过填充或扩展图像边界，避免裁剪导致信息丢失。 | 是 | 下边缘扩充尺寸（像素） | 对数据下边缘进行宽度填充，建议0\~100整数。 | | CV数据图像扩充填充增强 | 通过填充或扩展图像边界，避免裁剪导致信息丢失。 | 是 | 左边缘扩充尺寸（像素） | 对数据左边缘进行宽度填充，建议0\~100整数。 | | CV数据图像扩充填充增强 | 通过填充或扩展图像边界，避免裁剪导致信息丢失。 | 是 | 右边缘扩充尺寸（像素） | 对数据右边缘进行宽度填充，建议0\~100整数。 | | CV数据图像扩充填充增强 | 通过填充或扩展图像边界，避免裁剪导致信息丢失。 | 是 | 边缘填充像素值 | 范围值为0。 | | CV数据透视变换增强 | 模拟不同视角下的图像变形，增强模型对视角变化的鲁棒性。 | 是 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据透视变换增强 | 模拟不同视角下的图像变形，增强模型对视角变化的鲁棒性。 | 是 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据透视变换增强 | 模拟不同视角下的图像变形，增强模型对视角变化的鲁棒性。 | 是 | 透视变换强度 | 透视扭曲强度，建议值0.0005\~0.002。 | | CV数据泊松噪声增强 | 添加泊松噪声，模拟低光或高光下的光子计数噪声。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据泊松噪声增强 | 添加泊松噪声，模拟低光或高光下的光子计数噪声。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据泊松噪声增强 | 添加泊松噪声，模拟低光或高光下的光子计数噪声。 | 否 | 缩放因子 | 缩放因子，控制噪声强度。范围建议值为0\~20。 | | CV数据随机裁剪增强 | 随机裁剪图像区域，增强模型对局部特征的识别能力。 | 是 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据随机裁剪增强 | 随机裁剪图像区域，增强模型对局部特征的识别能力。 | 是 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据随机裁剪增强 | 随机裁剪图像区域，增强模型对局部特征的识别能力。 | 是 | 裁剪比例范围 | 设定在随机范围的比例中进行裁剪，如(0.6, 0.9)表示裁剪原图的60%\~90%。 | | CV数据随机擦除增强 | 随机遮挡图像部分区域，提升模型对遮挡的鲁棒性。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据随机擦除增强 | 随机遮挡图像部分区域，提升模型对遮挡的鲁棒性。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据随机擦除增强 | 随机遮挡图像部分区域，提升模型对遮挡的鲁棒性。 | 否 | 擦除比例范围 | 设定在随机范围的比例中进行擦除。 | | CV数据随机擦除增强 | 随机遮挡图像部分区域，提升模型对遮挡的鲁棒性。 | 否 | 擦除块个数 | 范围建议值为1。 | | CV数据随机擦除增强 | 随机遮挡图像部分区域，提升模型对遮挡的鲁棒性。 | 否 | 擦除像素值 | 范围建议值为0或者255。 | | CV数据瑞利噪声增强 | 添加瑞利分布噪声，模拟特定环境下的噪声特性。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据瑞利噪声增强 | 添加瑞利分布噪声，模拟特定环境下的噪声特性。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据瑞利噪声增强 | 添加瑞利分布噪声，模拟特定环境下的噪声特性。 | 否 | 尺度参数 | 范围建议值为15-40。 | | CV数据图像旋转增强 | 对图像进行随机旋转，增强模型对方向变化的适应能力。 | 是 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据图像旋转增强 | 对图像进行随机旋转，增强模型对方向变化的适应能力。 | 是 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据图像旋转增强 | 对图像进行随机旋转，增强模型对方向变化的适应能力。 | 是 | 旋转角度 | 图像旋转，保持图像形状不变，不足部分用黑色填充。旋转角度（度），正值为逆时针旋转。范围\[-180, 180\]。 | | CV数据图像旋转增强 | 对图像进行随机旋转，增强模型对方向变化的适应能力。 | 是 | 旋转增强模式 | 旋转模式，expand为扩展边界模式，保持原始图不会被裁剪；crop为裁剪模式，不会对旋转边缘进行填充，而是会进行裁剪回原始尺寸。 | | CV数据椒盐噪声增强 | 添加黑白像素点噪声，模拟图像损坏或传输错误。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据椒盐噪声增强 | 添加黑白像素点噪声，模拟图像损坏或传输错误。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据椒盐噪声增强 | 添加黑白像素点噪声，模拟图像损坏或传输错误。 | 否 | 椒盐噪声密度比例 | 范围建议值为0.01\~0.1。 | | CV数据椒盐噪声增强 | 添加黑白像素点噪声，模拟图像损坏或传输错误。 | 否 | 椒盐比例 | 范围建议0.5。 | | CV数据放缩增强 | 对图像进行缩放，模拟不同距离或大小的物体。 | 是 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据放缩增强 | 对图像进行缩放，模拟不同距离或大小的物体。 | 是 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据放缩增强 | 对图像进行缩放，模拟不同距离或大小的物体。 | 是 | 缩放因子 | 缩放因子，保持宽高比不变，\>1放大，\<1缩小（分类任务：使用\[0.8, 1.2\]的轻度缩放，检测任务：可使用\[0.5, 1.5\]的较大范围）。 | | CV数据锐化调整增强 | 增强图像边缘，提升细节识别能力。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据锐化调整增强 | 增强图像边缘，提升细节识别能力。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据锐化调整增强 | 增强图像边缘，提升细节识别能力。 | 否 | 锐化强度 | 锐化因子，通常接近1.0。 | | CV数据剪切增强 | 对图像进行剪切变换，模拟视角偏移或遮挡。 | 是 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据剪切增强 | 对图像进行剪切变换，模拟视角偏移或遮挡。 | 是 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据剪切增强 | 对图像进行剪切变换，模拟视角偏移或遮挡。 | 是 | 剪切因子 | 剪切因子，0.1-0.2：轻度剪切，模拟小角度倾斜； 0.2-0.3：中等剪切，模拟车辆转弯等场景； 0.3以上：强烈剪切，可能产生不自然形变 | | CV数据剪切增强 | 对图像进行剪切变换，模拟视角偏移或遮挡。 | 是 | 剪切方向 | 剪切方向。 | | CV数据图像平移增强 | 对图像进行平移，模拟物体在画面中的位置变化。 | 是 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据图像平移增强 | 对图像进行平移，模拟物体在画面中的位置变化。 | 是 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据图像平移增强 | 对图像进行平移，模拟物体在画面中的位置变化。 | 是 | X轴平移量 | X轴平移量，正数向右平移。 | | CV数据图像平移增强 | 对图像进行平移，模拟物体在画面中的位置变化。 | 是 | Y轴平移量 | Y轴平移量，正数向下平移。 | | CV数据均匀噪声增强 | 添加均匀分布噪声，模拟系统中的随机干扰。 | 否 | 是否保留原始数据 | 数据增强后是否保留原始数据，值为保留/删除。 | | CV数据均匀噪声增强 | 添加均匀分布噪声，模拟系统中的随机干扰。 | 否 | 数据增强比例 | 对数据集中按照该百分比进行数据增强，值为0\~100整数。 | | CV数据均匀噪声增强 | 添加均匀分布噪声，模拟系统中的随机干扰。 | 否 | 随机噪声下界 | 范围建议值为-30\~-10。 | | CV数据均匀噪声增强 | 添加均匀分布噪声，模拟系统中的随机干扰。 | 否 | 随机噪声上界 | 范围建议值为10\~30。 | ![](https://support.huaweicloud.com/usermanual-pangulm/public_sys-resources/note_3.0-zh-cn.png) 整体数据增强方法分为两种：1）不影响原始标注的增强；2）影响标注结果的增强。 - 方式1）增强时，仅对图片进行增强处理，如果原始数据中有xml标注，则会沿用原始标注xml，不会对xml内容进行更改，这种增强方式支持物体检测、语义分割、实例分割、旋转检测的数据类型，且标注形式需要为xml格式（受限于数据工程能力，不支持自定义数据集）。 - 使用方式2）增强时，除了对图片进行增强处理外，如果原始数据中有xml，原始的xml标注内容可能会发生更改，此时只支持使用最广泛的**物体检测数据类型**。当原始数据中没有xml时，则支持各种算法资产的数据类型（受限于数据工程能力，不支持自定义数据集）。 - 数据增强示例： 1. 选择左侧导航目录"数据工程-\>数据加工-\>加工任务"，单击"创建加工任务"。 2. 在"创建加工任务"页面，选择需要加工的数据集。 3. 单击"下一步"，进入"加工步骤编排"页面，左侧列表为当前数据集可选择的加工算子。 1. 在左侧"添加算子"分页勾选所需算子。 2. 在右侧"加工步骤编排"页面配置各算子参数，可拖动算子以调整执行顺序。 3. 在编排过程中，可单击右上角"保存为新模板"将当前编排流程保存为模板。后续创建新的数据加工任务时，可直接单击"选择加工模板"进行使用。 若选择使用加工模板，将删除当前已编排的加工步骤。 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046766.png) 4. 加工步骤编排完成后，单击"下一步"进入任务配置页面。 - 自动生成加工数据集，启用后任务运行成功自动生成加工数据集，可用于下游数据集发布；如关闭需在加工任务列表操作生成。 需要填写数据集名称、描述和扩展信息（扩展信息为可选项，主要包括行业、语言和自定义信息）。 5. 单击右下角"启动加工"，将启动加工任务。 6. 在"加工任务 \> 任务列表"页，单击任务ID，进入"加工任务详情"页，可以看到加工任务基本信息，原始数据来源，生成数据集等信息。 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046762.png) 7. 单击"生成数据集"链接，可以预览生成数据。 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046750.png) 8. 在"数据发布 \> 发布任务"页，单击"创建发布任务"，选择生成数据集，配置并发布后即可用作后续训练任务。