# 内容安全识别 内容安全识别基于用户提供的黑白名单词库内容及DSC内置的百万级敏感词库，对OBS中存储的文本内容（HTML、TXT、Markdown、XML、JSON等）、图像（**不超过3840\*3840像素**的JPG、PNG、JPEG、JP2、BMP和WEBP格式的图像）和常见文档格式中的文字及图像内容进行匹配识别。用户可以指定白名单，以放过其认为可接受的词汇。最终，系统将输出每个文档中包含的敏感词及其相应类别，用户可选择自行处理文件或自动将有害内容移至指定目录。 词库说明，词库可以定义三种风格： - 一种是单词词汇敏感、有毒有害。 - 一种是可以多个词共同出现，成为有毒有害的内容，不同内容间使用\&链接。例如：美女\&在线陪聊\&上门服务。 - 白名单词库中除了以上这两种词库外，还有一个是正则，可以通过正则匹配，避免特定格式的单个词或者组合词被当做黑名单。 #### 方案原理 图1原理图 ![](https://support.huaweicloud.com/usermanual-dsc/zh-cn_image_0000002540885440.png "点击放大") #### 约束限制 | 限制项 | 说明 | |:---|:---| | 内容限制 | DSC仅支持对OBS桶内的文本内容和图像进行识别。 - **纯文本限制**：仅限于OBS桶中的纯文本文档（HTML、TXT、Markdown、XML、JSON）以及Office文档（WORD(.docx)、PPT(.pptx)、EXCEL(.xlsx)）中的文本内容。 - **图像限制**：仅限于OBS中存储的图像（JPG、PNG、JPEG、JP2、BMP和WEBP）以及Office文档（WORD(.docx)、PPT(.pptx)、EXCEL(.xlsx)）中的图像内容。 | | 大小限制 | 文档大小限制为100M，超过的文件不进行扫描。 | | 类别限制 | 支持违规内容的分类，只能检测固定的违规类型，类型外的内容，不能审核，用户不能自定义新增类别，可以配置白名单，可以配置阈值。 支持的类别限制参考[表1]。 | | 审核限制 | 审核返回的内容只打违规的标签类型，不对文本内容本身进行处理，用户可以选择是否审核违规的内容移动到指定违规目录。 | | 扫描限制 | 任务可以设定自动执行的周期，也可以手动开始新的扫描任务，同一任务下，默认只对新增、新修改的文件进行增量扫描。 每10,000个字符进行一批扫描，保存一次审核结果，每个被扫描的文件只保存最多500条审核结果，结果对于不同关键词聚合展示；最多显示200万个文件的结果。 | | 词库限制 | 每个用户最多各上传5个黑名单/白名单，每个词库不超过1000条内容，每条内容限制64个utf-8字符，如果黑名单词类别和默认词库重复，以用户指定的为准。 | | 区域限制 | 仅支持在**华北-北京四** 、**华东-上海一** 、**西南-贵阳一**使用该功能。 | 表1支持违规内容的分类 | 一级分类 | 二级分类 | |:---|:---| | **Sexual（色情 / 性内容）** | porn（色情） bikini（比基尼） | | **Violence（暴力 / 血腥行为）** | blood（血腥场景） animal_abuse（虐待动物） assault（打斗 / 肢体冲突） | | **Weapon（武器 / 军事装备）** | aircraft_carrier（航空母舰） cannon（加农炮） chain_saw（链锯） cleaver（砍刀） guillotine（断头台） hatchet（手斧） military_uniform（军服） muzzle（枪口 / 枪械部件） projectile（导弹） revolver（左轮手枪） rifle（步枪） scabbard（刀鞘） submarine（潜艇） tank（坦克） warplane（军用飞机） | | **Politics（政治 / 国家符号）** | assembly（政治或非法集会） china_map（中国地图） china_party_emblem（党徽） china_flag（中国国旗） police_van（警车） politician（政治人物） | | **Extremism（极端 / 暴恐 / 邪教）** | cult（邪教活动） terrorist_flag（暴恐组织旗帜） terrorist（暴恐或极端组织人物） | | **Illegal（明确违法行为）** | gambling（赌博活动） drug（吸毒 / 毒品） drugs（毒品） slot（老虎机） | | **Risky（风险内容 / 需策略判断）** | beer_bottle（啤酒瓶） beer_glass（啤酒杯） red_wine（红酒） wine_bottle（葡萄酒瓶） cigarette（香烟） pill_bottle（药瓶） syringe（注射器） qrcode（二维码） playing_card（扑克牌） fire（火） bad_artist（不良艺人） | #### 审核任务列表 支持对OBS桶中的文档、文本文件中的文字内容进行有毒、有害内容审核，包括任务管理和结果管理。 - 审核任务管理包括： - [审核任务状态管理]：查看审核进度及当前阶段的审核结果。 - [审核规则配置包括]：任务审核周期、审核文件范围和类型以及审核词库的范围和审核的类别。 - [审核结果管理]： 用户具体违规的文件以及违禁词和违禁类别，导出违规文件报告任务，跳转OBS下载。 - [新建审核任务] 1. [登录DSC服务控制台](https://console.huaweicloud.com/dsc/)。 2. 单击左上角的![](https://support.huaweicloud.com/usermanual-dsc/zh-cn_image_0000002531977094.png)，选择区域或项目。 3. 选择"AI数据安全 \> 内容安全识别" ，进入"内容安全识别"界面。 4. 单击左上角"新建审核任务"，进入"新建任务"界面。 5. 参照如[表2]所示进行"数据源配置"。 图2新建审核任务 ![](https://support.huaweicloud.com/usermanual-dsc/zh-cn_image_0000002540907900.png "点击放大") 表2数据源配置参数 | 参数 | 说明 | |:---|:---| | 任务名称 | 请按照要求输入任务名称。 任务名称要求：仅允许由中文、英文字母（大小写）、数字、下划线(_)、中划线(-)、点(.)组成，且首个字符必须为中文或英文字母，禁止以数字、符号开头。 | | 任务描述（可选） | 简单描述该任务的核心内容及目的。 | | 审核模态 | 支持选择以下审核模态： - **文本**：对HTML、TXT、Markdown、XML、JSON等文本内容进行审核。 - **OCR文本**：识别图像中的文字识别，然后进行文本审核。 - **静态图像**：对不超过3840\*3840像素的JPG、PNG、JPEG、JP2、BMP和WEBP格式的图像进行审核。该模式中会审核所选数据格式中是否存在内容异常，不会审核文字，如果需要审核图像中的文字，请选择"OCR文本"。 | | 数据格式选择 | 选择对应"审核模态"的数据格式。 支持的数据格式参考[约束限制]。 | | 数据源选择 | 数据源仅支持OBS。 | | 是否遍历子文件夹 | 勾选后，会遍历所有子文件夹中的文件。 | | OBS桶名称 | 单击下拉框在弹窗中选择OBS桶。 | | OBS文件路径 | 默认路径为根目录。也可以单击下拉框选择指定路径。 | 6. 单击"下一步"进入"审核算法配置"界面，参照如[表3]所示进行"审核算法配置"。 表3审核算法配置参数 | 参数 | 配置 | |:---|:---| | 黑名单词库 | 默认选择"云平台内置词库"。其余词库均为可选配置，可单击下拉框选择[词库管理]中配置的"黑名单词库"，没有可以不选。 | | 白名单词库 | 白名单词库支持手动添加词库，单击下拉框选择[词库管理]中配置的"白名单词库"，没有可以不选。 | | 已启用词库 | 显示已选择的手动添加的黑/白名单词库名称。 | | 图片审核配置 | [步骤 5]中"审核模态"选择"静态图像"时，需要配置此参数。 系统已为您配置了默认审核配置项及配置项的**匹配度阈值**（也叫风险分数阈值，超过这个阈值，DSC会识别为风险）。 您可以根据需要增减审核配置项；单击![](https://support.huaweicloud.com/usermanual-dsc/zh-cn_image_0000002622427955.png)展开配置项，可以调整匹配度阈值。 | 7. 单击"下一步"进入"其他配置"界面。参照如[表4]所示进行"其他配置"。 表4其他配置参数 | 参数 | 配置 | |:---|:---| | 是否移动违规文件 | 勾选"移动至指定OBS目录"。会将违规文件移动至选择的指定目录下。 | | OBS桶名称 | 勾选"移动至指定OBS目录"后显示该参数，单击下拉框在弹窗中选择"OBS桶名称"。 | | OBS文件路径 | 勾选"移动至指定OBS目录"后显示该参数，选择"OBS桶名称"后，单击输入框在弹窗中选择云上目录。 | | 任务预计开始时间 | 单击![](https://support.huaweicloud.com/usermanual-dsc/zh-cn_image_0000002531737034.png)选择任务预计开始执行的时间。在指定时间开始执行该任务。 首次执行将在"任务预计开始时间"进行全量审核。 | | 任务审核周期 | 单击下拉框选择任务执行周期，周期任务将按选择的周期循环执行（如选 24 小时每天 09:00 执行），仅审核新增 / 修改文件： - 单次：按照"任务预计开始时间"执行一次该任务。 - 每日：按照"任务预计开始时间"执行一次该任务，根据最后一次执行完的时间的24小时后开始执行（如 首次2025-11-01 09:00执行任务，第二次执行时间2025-11-02 09:00开始执行任务）。 - 每周：按照"任务预计开始时间"执行一次该任务，根据最后一次执行完的时间的7天后开始执行（如 首次2025-11-01 09:00执行任务，第二次执行时间2025-11-08 09:00开始执行任务）。 - 每月：按照"任务预计开始时间"执行一次该任务，根据最后一次执行完的时间的30天后开始执行（如 首次2025-11-01 09:00执行任务，第二次执行时间2025-12-01 09:00开始执行任务）。 | 8. 单击"确定"，如果右上角提示"新建任务成功"，则表示任务已成功创建。 - [查看审核任务列表及任务状态] 1. [登录DSC服务控制台](https://console.huaweicloud.com/dsc/)。 2. 单击左上角的![](https://support.huaweicloud.com/usermanual-dsc/zh-cn_image_0000002562976997.png)，选择区域或项目。 3. 选择"AI数据安全 \> 内容安全识别" ，进入"内容安全识别"界面。 4. 选择"审核任务列表"页签，查看审核任务列表，参数如[表5]所示。 表5审核任务列表关键参数 | 参数 | 说明 | |:---|:---| | 任务名称 | 新建审核任务时输入的任务名称。 | | 审核周期 | 显示审核任务的审核周期，有单次、每日、每月、每周。 | | 审核模态 | 包含：文本、静态图像、OCR文本 | | 任务配置 | 配置的黑白名单。 | | 任务计划时间 | 任务的计划执行时间。 | | 实际开始时间 | 任务的实际开始执行时间。 | | 完成时间 | 任务执行完成的时间。 | | 任务状态 | 任务的状态如下： "新建任务"、"等待中"、"已完成或者已完成（当前周期）"、"已停止"和"异常"状态可以编辑任务，"等待中"和"进行中"的任务无法编辑任务。 - "新建任务"：未到设置的开始时间，可以提前单击"开始"进行排队。 - "等待中"：任务已提交，正在等待系统分配审核资源，按提交顺序依次处理。 - "进行中"：已成功进入审核流程，系统正在对内容开展检测与审核工作。 - "已完成"：任务已执行完成，可以导出报告查询审核结果。 - "已完成"（当前周期），等待下一周期：当前周期任务已完成，可以导出报告查询审核结果。 - "已停止"：任务已停止，可再次单击"开始"执行任务。 - "异常"：任务执行失败、超时、系统错误等提示异常，单击"详情"可显示系统具体的错误信息。 | | 检测报告状态 | 检测报告状态包含： - "未导出"：等待导出，可单击"操作"列的"导出报告"导出审核结果。 - "导出中"：审核结果正在导出中。 - "导出成功"：审核结果导出成功。 - "导出异常"：审核结果导出异常。 | - [导出报告] 仅支持在任务状态为"已完成"或"已完成（当前周期）"且导出状态不在"导出中"的任务进行离线报告导出。 1. [登录DSC服务控制台](https://console.huaweicloud.com/dsc/)。 2. 单击左上角的![](https://support.huaweicloud.com/usermanual-dsc/zh-cn_image_0000002532161882.png)，选择区域或项目。 3. 选择"AI数据安全 \> 内容安全识别" ，进入"内容安全识别"界面。 4. 选择"审核任务列表"页签，单击审核任务列表"操作"列的"导出报告"。 5. 在弹窗中选择"OBS桶名称"和"OBS文件路径"。 6. 单击"确认导出"导出审核结果到选择的OBS路径下。 7. 登录OBS控制台查看对应OBS桶路径下生成的审核结果。 #### 词库管理 DSC内置有"云平台内置词库"，同时还支持黑/白名单词库管理，可根据实际业务需求向审核算法添加黑名单词表和白名单词表。每个用户最多上传5个黑名单词库、5个白名单词库，每个词库中最多包含5000条内容，每条内容中敏感词不超过64个UTF-8字符，如果黑名单词类别和内置词库重复，以用户指定的为准。 - [添加黑/白名单词库] 1. [登录DSC服务控制台](https://console.huaweicloud.com/dsc/)。 2. 单击左上角的![](https://support.huaweicloud.com/usermanual-dsc/zh-cn_image_0000002532005508.png)，选择区域或项目。 3. 选择"AI数据安全 \> 内容安全识别" ，进入"内容安全识别"界面。 4. 选择"词库管理"页签，单击左上角"添加黑/白名单词库"，进入"添加词库"界面。 5. 按照如[表6]所示配置词库信息。 图3添加词库 ![](https://support.huaweicloud.com/usermanual-dsc/zh-cn_image_0000002563017729.png "点击放大") 表6词库参数配置 | 参数 | 说明 | |:---|:---| | 词库名称 | 输入词库名称，仅允许由中文、英文字母（大小写）、数字、下划线(_)、中划线(-)、点(.)组成，且首个字符必须为中文或英文字母，禁止以数字、符号开头。 | | 词库类型 | 单击下拉框选择词库类型，包含白名单和黑名单。 - 黑名单词库：黑名单支持选择类别。 - 白名单词库：白名单的规则支持正则匹配。 | | 输入方式 | 支持"手动输入"和"CSV文件上传"两种方式。 - 手动输入：手动在界面添加词条。 - CSV文件上传：根据模板填写词条信息后批量上传词条。 | | 白名单关键字列表 | "输入方式"选择"手动输入"且"词库类型"选择"白名单"时显示该参数。 - 按照所选"规则"是"联合条件"、"单独条件"或"正则匹配"的格式输入"关键字"。 - 单击界面左下角的"添加"可增加词条记录，最多添加5000条记录。 - 单击列表操作列的删除可删除单条词条记录，单击列表左上角的"删除全部"可删除所有已添加的词条记录。 | | 黑名单敏感词列表 | "输入方式"选择"手动输入"且"词库类型"选择"黑名单"时显示该参数。 - 按照所选"规则"是"联合条件"或"单独条件"的格式输入"敏感词"，单击下拉框选择"类别"。 - 单击界面左下角的"添加"可增加词条记录，最多添加5000条记录。 - 单击列表操作列的删除可删除单条词条记录，单击列表左上角的"删除全部"可删除所有已添加的词条记录。 | | 上传CSV文件 | "输入方式"选择"CSV文件上传"时显示该参数。 1. 单击"下载模板"下载CSV文件格式模板到本地，按照模板要求填写词条信息。 2. 单击"添加文件"上传按照模板填写好的CSV文件，支持添加多个文件。 | | 词库描述（可选） | 输入框中输入词库的描述。 | 6. 单击"保存"，界面右上方提示"新建词库成功"则词库创建成功。 #### 查看词库内容 1. [登录DSC服务控制台](https://console.huaweicloud.com/dsc/)。 2. 单击左上角的![](https://support.huaweicloud.com/usermanual-dsc/zh-cn_image_0000002532026836.png)，选择区域或项目。 3. 选择"AI数据安全 \> 内容安全识别" ，进入"内容安全识别"界面。 4. 选择"词库管理"页签，查看已添加的黑/白名单词库信息，详细内容如[表7]所示。 图4词库列表 ![](https://support.huaweicloud.com/usermanual-dsc/zh-cn_image_0000002532027772.png "点击放大") 表7词库信息表 | 参数 | 说明 | |:---|:---| | 词库名称 | 创建词库时输入的词库名称。 | | 敏感词/关键词数量 | 自定义的词库中敏感词/关键字的数量。 | | 词库描述 | 输入的词库描述内容。 | #### 相关操作 - 开始执行任务：单击审核任务列表"操作"列的"开始"，开始执行当前任务。 - 删除审核任务： "任务状态"为"新建任务"、"已完成"或"已完成（当前周期）"、"已停止"以及"异常"的任务支持删除任务。 1. 单击审核任务列表"操作"列的"删除"。 2. 在弹窗中查看待删除的审核任务信息。 3. 如果确认要删除单击"确定"删除该任务。 - 修改审核任务： "任务状态"为"新建任务"、"已完成"或"已完成（当前周期）"、"已停止"和"异常"的任务支持修改任务信息。 单击审核任务列表"操作"列的"修改"进入"编辑任务"界面修改任务信息。 - 删除词库 选择"词库管理"页签，单击词库"操作"列的"删除"，删除该词库记录。 - 修改词库： 选择"词库管理"页签，单击词库"操作"列的"修改"，进入"修改词库"界面修改词库信息。 #### 相关文档 - [数据来源版权合规](https://support.huaweicloud.com/usermanual-dsc/dsc_01_4401.html) - [数据内容版权合规](https://support.huaweicloud.com/usermanual-dsc/dsc_01_4415.html)