视频类加工算子介绍

镜头拆分

• 适用的文件格式：“视频>mp4 / avi”。
• 各参数说明：

  需要拆分的视频：筛选出分辨率、时长、帧率同时满足筛选标准的视频进行镜头拆分。

  视频拆分后规格：单视频切片最大时长支持自定义；若首轮拆分切片时长超过设定值，则会进一步做拆分，最终拆分结果均小于等于设定阈值 。

• 参数配置样例：

  

  拆分样例：设置单视频切片最大时长3S：

  

• 镜头拆分前后对比：
  • 拆分前：

    

  • 拆分后：

    

视频裁剪

• 适用的文件格式：“视频>mp4 / avi”。
• 各参数说明：

  裁剪项：自定义选择裁剪项，裁剪掉视频中字幕/Logo/水印/边框/密集文字等无用信息。

  最大裁剪比例：裁剪视频面积/原始视频面积的值即裁剪面积占比，设置默认的裁剪比例，默认值为0.3。

  过裁剪保留：裁剪占比大于最大裁剪比例时，是否保留原视频。是则保留，否则过滤。

• 参数配置样例：

  

• 裁剪样例：

  裁剪前：带水印视频。

  

  裁剪后：上部带水印部分被裁剪，视频高度变低。

  

视频元数据过滤

• 适用的文件格式：“视频>mp4 / avi”。
• 各参数说明：

  待保留分辨率：自定义选择保留分辨率。不满足所选分辨率的视频将被过滤掉。

  待保留时长：默认值为3，小于“待保留时长”的视频将被过滤掉。

  待保留帧率：电影标准帧率为24或30FPS，小于“待保留帧率”的视频将被过滤掉。

• 参数配置样例：

  

• 过滤样例：设置待保留时长大于等于10S：

  

  过滤前：两个视频，一个时长是4S，一个时长是16S。

  

  

  过滤后：只保留时长为16S的视频：

  

视频宽高比过滤

• 适用的文件格式：“视频>mp4 / avi”。
• 各参数说明：

  待过滤宽高比阈值：超出“宽高比阈值”的视频将被过滤掉。阈值范围为(1, 10)，可输入小数点后一位。

• 参数配置样例：

  

• 过滤样例：

  原视频数据集：

  共有两个视频，第一个宽高比为1.77，第二个宽高比为1.79。

  

  

  

  设置宽高比阈值为1.78，经算子处理过后，仅保留宽高比为1.79的视频。

  

色情视频检测算子

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：给色情视频内容打标签。
• 参数配置样例：

  不需要配置参数。

• 检测样例：

  检测结果以video_anti_porn对象存储在标注文件中：

  suggestion:对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。

  confidence:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。

  label:模型检测出的具体色情标签，如果未检测出则为空。

  

暴恐视频检测算子

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：给暴恐视频内容打标签。
• 参数配置样例：

  不需要配置参数。

• 检测样例：检测结果以video_anti_terrorism对象存储在标注文件中：

  suggestion:对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。

  confidence:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。

  label:模型检测出的具体暴恐标签，如果未检测出则为空。

  

视频涉政评分算子

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：

  给涉政视频内容打标签。

• 参数配置样例：

  不需要配置参数。

• 检测样例：

  检测结果以video_anti_politics对象存储在标注文件中：

  suggestion:对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。

  result:模型对文件检测的具体返回内容，包含suggestion、confidence、label三个子标签；可以一条或多条。

  confidence:模型结果检测的置信度（注意这里的置信度代表模型给出建议的置信度）。如果suggestion为pass，则为零；如果suggestion为review/block，则为0-1。

  label:模型检测出的具体涉政标签，如果未检测出则为空。

  

运动幅度评分

• 适用的文件格式：“视频>mp4 / avi”。
• 评分说明：

  识别运动幅度过快或过慢的视频，数值越大表示运动越快。运动幅度＞100光流可视为运动过快，运动幅度≤2光流可视为运动过慢。

• 参数配置样例：

  

• 评分样例：jsonl文件中显示运动幅度评分：

  

视频质量基础评分

• 适用的文件格式：“视频>mp4 / avi”。
• 评分说明：

  对视频的基础质量（清晰度、亮度、模糊、画面抖动重影、低光过曝、花屏等）进行评分。分值范围(0, 1)，数值越高质量越好，评分>0.05可认为是视频基础质量较高的视频。

• 参数配置样例：

  

• 评分样例：jsonl文件中显示质量评分：clip_quality_value：质量分。

  

美学评分

• 适用的文件格式：“视频>mp4 / avi”。
• 评分说明：

  从内容（吸引人，清晰度）、构图（目标物位置良好）、颜色（有活力，令人愉悦）、光线（光线明显有对比度）、轨迹（连续、稳定）等维度评价视频美感得分。分值范围(0, 1)，数值越高美感越好，评分>0.95可视为视频美感较高的视频。

• 参数配置样例：

  

• 评分样例：jsonl文件中显示美学评分：clip_esthetics_value：美学分。

  

水印识别

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：

  识别视频中是否包含水印。

• 参数配置样例：

  水印识别阈值：当水印识别可信度高于水印识别阈值时即判断存在水印，默认水印识别阈值为0.5。

• 参数配置样例：

  

• 识别样例：jsonl文件中显示是否识别水印：consist_watermark值为1表示识别到水印，值为0表示未识别到水印。

  

字幕识别

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：

  识别视频中是否包含字幕。

• 参数配置样例：

  

• 识别样例：jsonl文件中显示是否识别字幕：consist_subtitle值为1表示识别到字幕，值为0表示未识别到字幕。

  

Logo识别

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：

  识别视频中是否包含Logo。

• 参数配置样例：

  

• 识别样例：jsonl文件中显示是否识别logo：consist_logo值为1表示识别到Logo，值为0表示未识别到Logo。

  

视频黑边识别

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：

  识别视频中是否包含黑边。

• 参数配置样例：

  

• 识别样例：border_value为1表示识别出黑边，值为0表示未识别出黑边。

  

密集文字识别

• 适用的文件格式：“视频>mp4 / avi”。
• 参数说明：

  密集文字面积占比：超出密集文字面积占比阈值的视频可视为密集文字视频，一般密集文字面积占比阈值为1%。

  置信度：当识别置信度超过设定阈值时，即可认定为包含密集文字的视频内容。默认情况下，识别置信度阈值设为 0.5。

• 参数配置样例：

  

• 识别样例：jsonl文件中显示是否识别密集文字：consist_densetext值为1表示识别到密集文字，值为0表示未识别到密集文字。

  

视频分类（InterVideo2）

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：

  自动对短视频内容进行分类，并生成相应的标签。

• 参数配置样例：

  无需配置参数。

• 分类标注样例：

  描述信息中显示视频的各级分类：

  category_L1_cn:一级分类。

  category_L4_cn：四级分类。

  

视频摘要生成（详细）

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：

  通过对视频进行抽帧，通过模型推理生成详细的视频摘要描述。

• 参数配置样例：

  无需参数配置。

• 打标样例：描述信息中long_prompt字段代表详细的视频摘要。

  

视频摘要生成（简略）

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：

  通过对视频进行抽帧，通过模型推理生成简略的视频摘要描述。

• 参数配置样例：

  无需参数配置。

• 打标样例：描述信息中prompt字段代表简略的视频摘要。
  图1 打标样例
  

姿态检测

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：

  姿态检测算子从视频中抽取8帧图片，对每帧图片进行关键点打标与置信度计算，并计算符合过滤条件的图片数量，达到一定数量则表示视频中存在对应的人物数量。

• 参数配置样例：

  无需参数配置。

• 打标样例：

  yolo_pose_select_single: 是否检测到了单个人的姿势，存在为1，否则为0。

  yolo_pose_select_few: 是否检测到了少量人（通常为2-4）的姿势，存在为1，否则为0。

  yolo_pose_select_multi: 是否检测到了多人（通常是4人或更多）的姿势，存在为1，否则为0。

  yolo_pose_select_half : 是否检测到了半个人的姿势，存在为1，否则为0。

  

运动镜头描述

• 适用的文件格式：“视频>mp4 / avi”。
• 算子说明：

  模型通过对视频进行抽帧进行光流计算与推理，输出视频的镜头类型。

• 参数配置样例：

  无需参数配置。

• 打标样例：

  motion: 运镜的类型。

  标签范围为： { 0: 'static', 1: 'others', 2: 'pull out', 3: 'push in', 4: 'static' , 5: 'tracking', 6: 'orbit', 7: 'spin', 8: 'till up', 9: 'till down', 10: 'pan right', 11: 'pan left' ,12: 'tracking' }。