图片类加工算子能力清单

数据提取

图文提取

提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码）。

数据过滤

图文文本长度过滤

过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度均计数为1。

图文文本语言过滤

通过语种识别模型得到图文对的文本语种类型，“待保留语种”之外的图文对数据将被过滤。

图文去重

• 基于结构化图片去重
• 判断相同文本对应不同的图片数据是否超过阈值，如果超过则去重。

数据转换

图文异常字符过滤

将文本数据中携带的异常字符替换为空值，数据条目不变。

• 不可见字符，比如U+0000-U+001F
• 表情符六
• 网页标签符号<p>
• 特殊符号，比如● █ ◆
• 乱码和无意义的字符�����

数据过滤

图片元数据过滤

基于图片存储大小、宽高比属性进行图片/图文数据清洗。

图片去重

通过把图片结构化处理后，过滤重复的图片/图文对数据。

数据打标

图片鉴黄评分

对图片的涉黄程度进行评分，分数越高越危险。评分范围（0，100），默认评分超过50分的视频可视为涉黄视频。