创建数据静态脱敏任务
DSC服务支持对数据库、大数据以及OBS类型数据进行脱敏,支持的数据类型请参见数据脱敏功能支持的数据源类型,本章节介绍如何创建各类型脱敏任务。
前提条件
- 已完成云资产委托授权,具体请参见云资产委托授权/停止授权进行操作。
- 已添加OBS桶或者授权数据库/大数据资产,具体请参见将数据资产添加至DSC并授权中添加和授权资产的操作。
- 已在“敏感数据识别”中完成了敏感数据识别,具体操作请参见配置敏感数据识别任务。
- MRS脱敏需要配置MRS_Hive的相关权限,具体操作请参见修改Hive用户权限。
创建数据静态脱敏任务
DSC支持在控制台创建数据静态脱敏任务,根据选择的脱敏规则对数据源进行脱敏,查看和测试脱敏规则请参见配置和查看静态脱敏算法。
任务创建成功后,在“状态”列,可查看任务的执行进展。
创建并运行数据库脱敏任务
- 登录DSC服务控制台。
- 单击左上角的
,选择区域或项目。 - 在左侧导航树中选择,进入“数据脱敏”页面。
- 在“数据库”页签中,单击左上角“新建任务”,进入“数据源配置”页面,具体参数说明如表1所示。 图1 数据源配置-数据库脱敏任务
表1 数据源配置参数说明 参数名称
参数说明
任务名称
您可以自定义脱敏任务的名称。
任务名称需要满足以下要求:- 1~255个字符。
- 字符可由中文、英文字母、数字、下划线或中划线组成。
数据源选择
选择数据来源。
数据源
说明:如果没有可使用的数据库实例,单击“添加云数据库”,添加或者授权数据库,具体的操作可参见添加数据库资产并授权。
数据库实例:选择需要脱敏的数据库实例。
数据库名:选择需要脱敏的数据库名称。
模式:当“数据源选择”选择“SQLServer”、“人大金仓”、“GaussDB”、“PostgreSQL”和“DWS”时,显示该参数。
数据表名:选择脱敏数据所在的数据表名称。
列信息
列信息展示“列名”、“风险等级”、“数据类型”以及“分类结果”。
脱敏比例
输入数据库的脱敏比例,如数据库存在1000行的数据,此处输入80%时,则对数据库前800行的数据进行脱敏。
- 单击“下一步”,进入“脱敏算法配置”页面。 图2 脱敏算法配置
- (可选)选择“脱敏模板”。选择脱敏模板后,数据使用的脱敏算法会根据分类结果匹配对应脱敏模板中配置的脱敏算法。当然,脱敏算法在此处支持修改。创建脱敏模板的操作详见创建脱敏模板章节。
- 勾选需要脱敏的数据列。
- 根据不同的“数据类型”选择合适的脱敏算法。脱敏算法详细信息请参见配置和查看静态脱敏算法。
加密数据选择解密脱敏算法,会对加密的数据进行解密脱敏。
未加密数据选择解密脱敏算法,脱敏后还是原数据不变。
- 单击“编辑”进入编辑测试界面,测试您选择的脱敏算法结果,测试“关键字替换”脱敏算法,输入“替换字符串”、“原始数据”,单击测试查看“脱敏结果”,具体的脱敏规则请参见配置和查看静态脱敏算法。
- 单击“下一步”,进入“脱敏周期配置”页面,配置脱敏周期。
单击“增量脱敏”右边
,打开增量脱敏开关。增量键值:单击下拉框选择增量键值,如id。
- 开启“增量脱敏”后,每次脱敏的数据为上次脱敏任务完成后新增的数据,请选择一个源数据中随着时间递增的字段作为增量列,例如创建时间,自增id等。
- 目前增量脱敏支持的数据库字段类型有:int、bigint、integer、date、datetime。
选择并设置脱敏任务的执行周期:
- 单击“下一步”,进入“数据目标配置”页面。 图3 数据目标配置-数据库脱敏任务
- 单击“完成”,完成数据库脱敏任务的创建。
- 进入“数据库”页签,单击“启用/禁用任务”开关,启用任务,在目标脱敏任务的“操作”列,单击“立即运行”。
- 运行后,系统开始按照设置的脱敏周期执行脱敏任务。
- 单击目标脱敏任务前面的
,查看脱敏任务运行“状态”为“已完成”后进入数据库查看脱敏效果。
创建并运行Elasticsearch脱敏任务
- 登录DSC服务控制台。
- 单击左上角的
,选择区域或项目。 - 在左侧导航树中选择,进入“数据脱敏”页面。
- 在“Elasticsearch”页签,单击左上角“新建任务”,进入“数据源配置”页面,具体参数说明如表2所示。
表2 数据源配置参数说明 参数名称
参数说明
任务名称
您可以自定义脱敏任务的名称。
任务名称需要满足以下要求:- 1~255个字符。
- 字符可由中文、英文字母、数字、下划线或中划线组成。
数据源选择
选择数据来源。目前仅支持“Elasticsearch”。
数据源
说明:如果没有可使用的Elasticsearch实例,可单击“添加ES源”,添加Elasticsearch索引,具体的操作可参见添加大数据资产并授权。
Elasticsearch实例:选择脱敏数据所在的Elasticsearch实例。
索引(Index):选择脱敏数据所在的索引。
Type:选择脱敏数据所在的Type。
字段信息
字段信息展示“字段名”、“风险等级”、“数据类型”以及“分类结果”。
- 单击“下一步”,进入“脱敏算法配置”页面。 图4 脱敏算法配置-Elasticsearch脱敏任务
- (可选)选择“脱敏模板”。选择脱敏模板后,数据使用的脱敏算法会根据分类结果匹配对应脱敏模板中配置的脱敏算法。当然,脱敏算法在此处支持修改。创建脱敏模板的操作详见创建脱敏模板章节。
- 勾选需要脱敏的数据列。
- 选择脱敏算法。脱敏算法更多详细信息请参见配置和查看静态脱敏算法。
- 单击“下一步”,进入“脱敏周期配置”页面,配置脱敏周期。
选择并设置脱敏任务的执行周期:
- 单击“下一步”,进入“数据目标配置”页面。 图5 数据目标配置-Elasticsearch脱敏任务
- 单击“完成”,完成脱敏任务的创建。
- 进入“Elasticsearch”页签,在目标脱敏任务的“操作”列,单击“立即运行”。
- 运行后,系统开始按照设置的脱敏周期执行脱敏任务。
如果“启用/禁用任务”的状态为
,即该任务处于禁用状态,则无法单击“立即运行”,启动任务。 - 单击目标脱敏任务前面的
,查看脱敏任务运行“状态”为“已完成”后进入Elasticsearch查看脱敏效果。
创建并运行MRS脱敏任务
- 登录DSC服务控制台。
- 单击左上角的
,选择区域或项目。 - 在左侧导航树中选择,进入“数据脱敏”页面。
- 在“MRS”页签,单击左上角“新建任务”,进入“数据源配置”页面,具体参数说明如表3所示。
表3 数据源配置参数说明 参数名称
参数说明
任务名称
您可以自定义脱敏任务的名称。
任务名称需要满足以下要求:- 1~255个字符。
- 字符可由中文、英文字母、数字、下划线或中划线组成。
数据源选择
选择数据来源。仅支持“MRS_HIVE”。
数据源
说明:如果没有可使用的Hive数据库实例,可单击“授权数据库”,添加大数据实例资产,具体的操作可参见添加大数据资产并授权。
数据库实例:选择脱敏数据所在的数据库实例。
数据库名:选择脱敏数据所在的数据库名称。
数据表名:选择脱敏数据所在的数据表名称。
勾选列名后将该列数据拷贝到目标数据库。
列信息
列信息展示“列名”、“风险等级”、“数据类型”以及“分类结果”。
- 单击“下一步”,进入“脱敏算法配置”页面。 图6 脱敏算法配置-MRS脱敏任务
- (可选)选择“脱敏模板”。选择脱敏模板后,数据使用的脱敏算法会根据分类结果匹配对应脱敏模板中配置的脱敏算法。当然,脱敏算法在此处支持修改。创建脱敏模板的操作详见创建脱敏模板章节。
- 勾选需要脱敏的数据列。
- 选择脱敏算法。脱敏算法更多详细信息请参见配置和查看静态脱敏算法。
- 单击“下一步”,进入“脱敏周期配置”页面,配置脱敏周期。
选择并设置脱敏任务的执行周期:
- 单击“下一步”,进入“数据目标配置”页面。 图7 数据目标配置-MRS脱敏任务
- 单击“完成”,完成脱敏任务的创建。
- 进入“MRS”页签,在目标脱敏任务的“操作”列,单击“立即运行”。
- 运行后,系统开始按照设置的脱敏周期执行脱敏任务。
- 单击目标脱敏任务前面的
,查看脱敏任务运行“状态”为“已完成”后进入MRS查看脱敏效果。
创建并运行Hive脱敏任务
- 登录DSC服务控制台。
- 单击左上角的
,选择区域或项目。 - 在左侧导航树中选择,进入“数据脱敏”页面。
- 在“Hive”页签,单击左上角“新建任务”,进入“数据源配置”页面,具体参数说明如表4所示。
表4 数据源配置参数说明 参数名称
参数说明
任务名称
您可以自定义脱敏任务的名称。
任务名称需要满足以下要求:- 1~255个字符。
- 字符可由中文、英文字母、数字、下划线或中划线组成。
数据源选择
选择数据来源。仅支持“HIVE”。
数据源
说明:如果没有可使用的Hive数据库实例,可单击“授权数据库”,添加大数据库资产,具体的操作可参见添加大数据资产并授权。
数据库实例:选择脱敏数据所在的数据库实例。
数据库名:选择脱敏数据所在的数据库名称。
数据表名:选择脱敏数据所在的数据表名称。
勾选列后将该列数据拷贝到目标数据库。
数据分区(可选)
支持对分区表脱敏,设置为
选择数据分区,支持自定义和快捷选择两种方式。列信息
列信息展示“列名”、“风险等级”、“数据类型”以及“分类结果”。
- 单击“下一步”,进入“脱敏算法配置”页面。 图8 脱敏算法配置-Hive脱敏任务
- 单击“下一步”,进入“脱敏周期配置”页面,配置脱敏周期。
选择并设置脱敏任务的执行周期:
- 单击“下一步”,进入“数据目标配置”页面。 图9 数据目标配置-Hive脱敏任务
- 单击“完成”,完成脱敏任务的创建。
- 进入“Hive”页签,在目标脱敏任务的“操作”列,单击“立即运行”。
- 运行后,系统开始按照设置的脱敏周期执行脱敏任务。
- 单击目标脱敏任务前面的
,查看脱敏任务运行“状态”为“已完成”后进入Hive查看脱敏效果。
创建并运行HBase脱敏任务
- 登录DSC服务控制台。
- 单击左上角的
,选择区域或项目。 - 在左侧导航树中选择,进入“数据脱敏”页面。
- 在“HBase”页签,单击左上角“新建任务”,进入“数据源配置”页面,具体参数说明如表5所示。
表5 数据源配置参数说明 参数名称
参数说明
任务名称
您可以自定义脱敏任务的名称。
任务名称需要满足以下要求:- 1~255个字符。
- 字符可由中文、英文字母、数字、下划线或中划线组成。
数据源选择
选择数据来源。仅支持“HBase”。
数据源
说明:如果没有可使用的数据库实例,可单击“授权数据库”,添加大数据资产,具体的操作可参见添加大数据资产并授权。
数据库实例:选择脱敏数据所在的数据库实例。
命名空间:选择脱敏数据所在的命名空间。
数据表名:选择脱敏数据所在的数据表名称。
列族:选择脱敏数据所在的列。
勾选列后将该列数据拷贝到目标数据库。
列信息
列信息展示“列名”、“风险等级”、“数据类型”以及“分类结果”。
- 单击“下一步”,进入“脱敏算法配置”页面。
- (可选)选择“脱敏模板”。选择脱敏模板后,数据使用的脱敏算法会根据分类结果匹配对应脱敏模板中配置的脱敏算法。当然,脱敏算法在此处支持修改。创建脱敏模板的操作详见创建脱敏模板章节。
- 勾选需要脱敏的数据列。
- 选择脱敏算法。脱敏算法更多详细信息请参见配置和查看静态脱敏算法。
- 单击“下一步”,进入“脱敏周期配置”页面,配置脱敏周期。
选择并设置脱敏任务的执行周期:
- 单击“下一步”,进入“数据目标配置”页面。 图10 数据目标配置-HBase脱敏任务
- 单击“完成”,完成HBase任务的创建。
- 进入“HBase”页签,在目标脱敏任务的“操作”列,单击“立即运行”。
- 运行后,系统开始按照设置的脱敏周期执行脱敏任务。
- 单击目标脱敏任务前面的
,查看脱敏任务运行“状态”为“已完成”后进入HBase查看脱敏效果。
创建并运行OBS脱敏任务
- 登录DSC服务控制台。
- 单击左上角的
,选择区域或项目。 - 在左侧导航树中选择,进入“数据脱敏”页面。
- 在“OBS”页签,单击左上角“新建任务”,进入“数据源配置”页面,具体参数说明如表6所示。
表6 数据源配置参数说明 参数名称
参数说明
任务名称
您可以自定义脱敏任务的名称。
任务名称需要满足以下要求:- 1~255个字符。
- 字符可由中文、英文字母、数字、下划线或中划线组成。
数据源选择
选择数据来源。仅支持“OBS”。
数据源
OBS桶名称:单击下拉框选择OBS桶名称。
OBS文件路径:单击下拉框选择OBS桶文件路径,默认路径为根目录。
文件类型:支持“文本类型”、“图片类型”、“LeRobot数据集”。详细约束限制请参见数据脱敏功能支持的数据源类型。
说明:只有具备读写权限的资产才能使用脱敏功能。
- 单击“下一步”,进入“脱敏算法配置”页面。 图11 脱敏算法配置-OBS脱敏任务
- 步骤 4中,“数据源”中“文件类型”选择“文本类型”时:
- 脱敏模板:选择脱敏模板后,数据使用的脱敏算法会根据分类结果匹配对应脱敏模板中配置的脱敏算法。当然,脱敏算法在此处支持修改。创建脱敏模板的操作详见创建脱敏模板章节。
- 单击“启用状态”列的开关,关闭该条敏感数据类型不对其进行脱敏。
脱敏页面中的“启用状态”按钮如果关闭,表明虽然启用了该条识别规则,但识别之后不进行脱敏。
- 脱敏算法:默认使用脱敏模板中选择的脱敏算法,同时支持在下拉框中选择其他脱敏算法。
- 步骤 4中,“数据源”中“文件类型”选择“图片类型”时:
- 步骤 4中,“数据源”中“文件类型”选择“LeRobot数据集”时:
- 数据源:LeRobot数据存放位置。
- 文本脱敏配置(JSON/JSONL文件):选择“脱敏模板”。选择脱敏模板后,数据使用的脱敏算法会根据分类结果匹配对应脱敏模板中配置的脱敏算法。当然,脱敏算法在此处支持修改。创建脱敏模板的操作详见创建脱敏模板章节。
- 视频脱敏配置:“脱敏对象”默认开启对人脸和车牌(中国内地)进行脱敏。“脱敏方式”支持选择马赛克、白色块覆盖。 “视频格式”:仅支持MP4,单文件上限200MB,超过200MB的视频将会直接复制到新的路径。视频最小为480P分辨率,最大为2K分辨率,人脸/车牌尺寸在10像素x10像素以上。图14 LeRobot脱敏算法配置
- 步骤 4中,“数据源”中“文件类型”选择“文本类型”时:
- 单击“下一步”,进入“其他配置”页面。
- 遍历子目录:打开“遍历子目录”的开关,会对源目录下的子目录中的目标文件进行脱敏。
- 文件重命名:打开“文件重命名”的开关,会对脱敏后的文件进行重命名。
步骤 4中,“数据源”中“文件类型”选择“LeRobot数据集”时,不支持文件重命名。
- 文件前缀/文件后缀:只能由中文字符、英文字母、数字、下划线和中划线组成,长度小于16。
- 重命名示例:原始文件名称为Test.txt,前缀为DSC_,后缀为1,重命名后的文件为DSC_Test1.txt
- 单击“下一步”,进入“数据目标配置”页面。 图15 数据目标配置-OBS脱敏任务
- OBS桶名称:单击下拉框选择脱敏后的存储桶。
- OBS文件路径:单击在弹框中选择OBS文件路径。
目标OBS桶路径不能选择与源OBS桶路径相同的路径和源OBS桶路径的子目录。
- 单击“完成”,完成OBS脱敏任务的创建。
- 进入“OBS”页签,在目标脱敏任务单击“启用/禁用任务”开关启用任务,在“操作”列单击“立即运行”。
- 运行后,系统开始按照设置执行脱敏任务。
- 单击目标脱敏任务前面的
,查看脱敏任务运行“状态”为“已完成”后进入选择的对应OBS路径下查看脱敏效果。
相关操作
- 单击目标脱敏任务前面的
,查看脱敏任务运行状态。运行“状态”说明如下: - 排队中:脱敏任务在队列中排队。
- 已完成:脱敏任务已完成运行,且运行成功。
- 运行中:脱敏任务正在执行中。
- 待运行:脱敏任务未运行。
- 已终止:用户已手动停止脱敏任务的运行。
- 运行失败:脱敏任务运行失败。鼠标移动至
查看失败原因。
- 单击目标脱敏任务“操作”列的,可重新配置脱敏任务信息。
- 单击目标脱敏任务“操作”列的,删除脱敏任务。


