文档首页/ 盘古大模型 PanguLargeModels/ 用户指南/ 使用数据工程构建数据集/ 加工数据集/ 数据集加工算子介绍/ 通用类加工算子介绍
更新时间：2025-07-30 GMT+08:00
查看PDF
分享

通用类加工算子介绍

平台支持通用类数据集的加工操作，算子能力清单见表1 通用类加工算子能力清单

表1 通用类加工算子能力清单

算子分类

算子名称

算子描述

数据过滤

通用过滤算子

根据已打标的标签对数据内容进行过滤。

通用过滤算子

  • 适用的文件格式：包含符合条件的标签的文本、音频、图片、视频数据集。
  • 算子说明：根据已打标的标签对数据内容进行过滤。
  • 参数配置样例：

  • 过滤样例：

    原视频数据集：

    设置过滤存在logo与水印的视频，经算子处理过后。

相关文档