更新时间:2025-11-13 GMT+08:00
分享

数据递送

数据递送流程如下:

图1 数据DES递送流程图
图2 数据OBS导入流程如下:

新建DES递送订单

  1. 在左侧菜单栏中,单击“数据合规”。
  2. 选择“数据递送”页签,单击“新建订单”。

    • 数据盘个数:设置数据盘个数,输入值必须在1到12之间。
    • 备注:简要描述订单信息。
    • 勾选“我已阅读并同意《八爪鱼自动驾驶云服务声明》”。

  3. 单击“确认”新建一个数据合规订单并查看订单号。

上传数据包

  1. 获取传输配置。

    在订单的“操作”列单击“获取传输配置”,获取传输配置,包括目标桶、导入目录、访问密钥 (AK)和私有访问密钥 (SK)。

  2. 准备待脱敏的数据包。

    图商采集的数据在上传至八爪鱼平台前,需要对数据包中的文件夹梳理,便于脱敏识别,目录层级需为“根目录/数据存放文件夹”,根目录需为3创建的订单号。

    上传至八爪鱼平台后数据路径:data/import-expresses/根目录/数据存放文件夹

    例如:data/import-expresses/24/packge-1

    • 24:根目录,即3创建的订单号。
    • packge-1:需要脱敏的数据存放文件夹。订单号和实际需要脱敏的文件夹之间不需要再加层级。
    • 脱敏任务完成后平台存储的原始数据和脱敏后数据路径如下:
      • 原始数据:data/import-expresses/24/packge-1-bak
      • 脱敏后数据:data/import-expresses/24/packge-1

  3. 上传待脱敏的数据包。

    在DES数据快递服务创建递送订单,并完成递送订单。DES订单上传源数据需要包含必要的有效文件,具体可参考上传数据格式

  4. 数据上传完成后,单击“确认递送完成”,单击“确定”。

新建OBS导入订单

  1. 在左侧菜单栏中,单击“数据合规”。
  2. 选择“数据递送”页签,单击“新建订单”。
  3. 选择“OBS导入”页签。

    表1 OBS导入参数说明

    参数

    说明

    对象存储访问密钥(AK)

    对象存储私有访问密钥(SK)

    包含访问密钥ID(AK)和私有访问密钥(SK)两部分,导入数据时,通过AK识别访问用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。

    对象存储目录

    存放数据包的目录。

    数据包筛选

    选择需要导入的数据包,必须是文件夹层级。

    是否已解密

    默认为未解密,可以选择解密算子,数据包导入成功后会自动触发解密流程。

    处理算子

    选择对数据包进行解密处理的算子,可在“数据处理>算子管理”页面创建输出类型为“合规数据解密”的算子。

    资源规格

    当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。

    环境变量

    配置算子的环境变量。允许添加的环境变量个数不超过10个。

    • Key:只能由英文、数字、和特殊符号(,-_)组成,且需要以字母开头 。长度不超过64个字符。
    • Value:只能由英文、数字和特殊符号(\/,.[]-_)组成 。长度不超过64个字符。

  4. 单击“确认”新建一个OBS类型的数据合规订单并查看订单号。

订单相关操作

表2 订单相关操作

任务

操作步骤

确认递送完成

单击订单操作栏中的“确认递送完成”,用户可更改订单的状态。更改状态之前请确认DES快递服务创建递送订单完成。

查看订单详情

选择操作栏中的“更多 > 详情”,查看订单详情。DES类型的订单,可在订单详情页面选择数据包创建脱敏作业,对数据包进行脱敏操作。

OBS类型的订单,可在订单详情页面选择数据包创建解密作业,对数据包进行解密操作。

编辑订单

单击订单操作栏中的“编辑”,可修改订单的备注信息。

订单推送

订单推送会将数据包推送到数据服务,可以到“ 数据处理 > 数据批导”中查看导入任务进度。

查询订单号

在“数据合规”订单列表页面,在搜索输入框中输入搜索条件,按回车键即可查询订单号。

删除订单

选择操作栏中的“更多 > 删除”可删除订单。

创建脱敏作业

数据包上传成功后,可以选择指定的数据包创建脱敏作业。

  1. 在订单的“操作”列,选择“更多 > 详情”进入订单详情列表。
  2. 勾选待脱敏的数据包,单击“创建脱敏作业”,参考如下配置算子信息。

    表3 配置脱敏作业算子信息

    参数

    描述

    处理算子

    根据需要选择数据脱敏算子。

    资源规格

    根据需要选择合适的资源规格。

    优先级

    设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。

    环境变量

    配置算子的环境变量。最多可以添加10个环境变量。

    • Key:只能由英文、数字、和特殊符号(,-_)组成,且需要以字母开头 。长度不超过64个字符。
    • Value:只能由英文、数字和特殊符号(\/,.[]-_)组成 。长度不超过64个字符。

    合规数据ID

    显示待脱敏数据包的ID。

  3. 单击“创建”,执行数据包脱敏任务。脱敏完成后,数据包状态变为“脱敏完成”。

创建解密作业

数据包上传成功后,可以选择指定的数据包创建解密作业。

  1. 在订单的“操作”列,选择“更多 > 详情”进入订单详情列表。
  2. 勾选待解密的数据包,单击“创建解密作业”,参考如下配置算子信息。

    表4 配置解密作业算子信息

    参数

    描述

    处理算子

    根据需要选择数据解密算子。

    资源规格

    根据需要选择合适的资源规格。

    优先级

    设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。

    环境变量

    配置算子的环境变量。最多可以添加10个环境变量。

    • Key:只能由英文、数字、和特殊符号(,-_)组成,且需要以字母开头 。长度不超过64个字符。
    • Value:只能由英文、数字和特殊符号(\/,.[]-_)组成 。长度不超过64个字符。

    超时时间

    达到超时时间后作业会自动停止。

    合规数据ID

    显示待解密数据包的ID。

  3. 单击“创建”,执行数据包解密任务,创建的解密任务可在“数据处理>作业总览”页面查看。解密完成后,数据包状态变为“解密成功”。

相关文档