数据内容版权合规
DSC数据内容版权风险检查,是华为云专为AI大模型训练打造的数据内容安全合规防护能力。旨在构造版权风险定级模型,帮助用户快速查明AI训练数据集中潜在的版权合规风险,助力构建可信赖、安全可控的AI应用。
前提条件
- 已完成云资产委托授权,具体请参见云资产委托授权/停止授权进行操作。
- 已添加OBS资产,具体请参见添加非结构化数据OBS中添加资产的操作。
约束限制
仅支持在华北-北京四、华东-上海一、西南-贵阳一使用该功能。
创建数据内容版权检查任务
- 登录DSC服务控制台。
- 单击左上角的
,选择区域或项目。 - 在左侧导航树中选择,进入“数据版权合规”页面。
- 选择“数据内容版权检查”页签。
- 单击“新建检测任务”,配置如表1所示的相关参数。 图1 新建内容版权合规检测任务
表1 数据内容版权合规则参数说明 参数名称
参数说明
任务名称
自定义任务名称。
任务描述
可选参数,备注该任务的目的。
审核模态
支持选择的审核模态:
- 文本
- OCR文本
- 静态图像
数据格式选择
在下拉框中选择数据格式。
- 文档格式Word(.docx),Excel(.xlsx),PowerPoint(.pptx),PDF(.pdf)只会审核选择的模态。 静态图像模态只会审核所选格式中的内容异常, 不会审核文字,审核文字需要选择OCR文本。
- 仅支持640X640~3840X3840分辨率的图像、不支持文件体积大于100MB 的文件。
数据源选择
当前仅支持OBS数据源。
是否遍历子文件夹
勾选后,将遍历所有子文件夹中的文件。
OBS桶名称
在弹框中选择OBS桶后单击“确定”。
OBS文件路径
可选参数。选择OBS桶的云上目录。
- 单击“下一步”,完成算法检测配置。 根据步骤 5中的配置选择,算法检测配置项有所有不同,根据界面显示情况,选择配置以下配置项。
- 图片审核配置:需要配置“置信度阈值”。
置信度阈值:控制图像识别的置信度水平。置信度越高误报越小,但漏报可能会增加。
- 文本检测配置:需要配置“匹配长度”和“匹配中断容忍度”。
- 匹配长度:控制连续匹配的字符长度,当文本中连续出现超过指定长度的匹配时会被判定为侵权。
- 匹配中断容忍度:允许在匹配过程中出现的字符中断次数。适当增加可检测被轻微篡改的文本。
- 图片审核配置:需要配置“置信度阈值”。
- 单击“下一步”,配置如下参数。 首次执行将在“任务预计开始时间”进行全量审核。周期任务将按选择的周期循环执行(如选 24 小时每天 09:00 执行),仅审核新增 / 修改文件。
- 是否移动违规文件:勾选“移动至指定OBS目录”后,选择OBS桶名称和OBS文件路径。
- 任务预计开始时间:配置任务开始时间。
- 任务审核周期:支持选择单次、每日、每周、每月。
图2 新建数据内容版权合规任务
- 单击“确定”,任务配置完成。
相关操作
启动数据内容版权检查任务
“任务状态”为“新建任务”、“已停止”、“异常”,检测报告状态不是“导出中”中的任务,支持手动启动检查任务。
- 进入“数据内容版权检查”页签。
- 在目标任务的“操作”列,单击“开始”。
终止数据内容版权检查任务
“任务状态”为“进行中”的任务,支持手动终止检查任务。
- 进入“数据内容版权检查”页签。
- 在目标任务的“操作”列,单击“终止”。
“任务状态”为“已完成”时,支持将风险评估报告导出到指定的OBS路径。
- 进入“数据内容版权检查”页签。
- 在目标任务的“操作”列,单击。
- 在弹窗中指定存储风险评估报告的OBS桶名称和路径。
- 单击“确认导出”,导出扫描结果文件。在“检测报告状态”列,单击“查看导出结果”,跳转到OBS控制台查看结果文件。
编辑/删除数据内容版权检查任务
- 编辑数据内容版权检查任务:在“数据内容版权检查”页签,单击“操作”列的“编辑”,修改单条检查任务。
- 删除数据内容版权检查任务:在“数据内容版权检查”页签,单击“操作”列的“删除”,删除单条检查任务。