点对点交换
点对点交换是数据提供方将资源一对一发送给数据消费方的一种消费方式。
使用流程
![](https://support.huaweicloud.com/qs-eds/zh-cn_image_0000001678856673.png)
- 数据提供方添加数据资源到EDS数据目录下,请参见步骤1:新增资源。
- 数据提供方和数据消费方进行点对点交换数据资源,请参见步骤2:点对点交换。
- 数据提供方的审批人确认该资源交换无误后审批资源,请参见步骤3:审批资源。
- 数据消费方接收交换的数据资源,请参见步骤4:接收交换资源。
前提条件
- 用户购买或加入交换数据空间,具体操作请参见购买/加入交换数据空间。
- 用户开通并购买/加入连接器,具体操作请参见开通并购买/加入连接器。
- (可选)如果用户加入他人连接器,连接器管理员须授予用户对应角色的权限,具体操作请参见角色管理。
步骤1:新增资源
如下步骤由数据提供方进行操作。
- 登录交换数据空间官网。
- 单击“管理控制台”,进入交换数据空间控制台界面。
- 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。
- 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“数据目录”,选择“我的数据 > 本地接入”,单击“新增资源”。
- 在“新增资源”界面中,定义资源,具体的参数说明如表1所示。
表1 参数说明 参数
说明
资源类型
- 文件:非结构化的数据资源,当前支持xlsx,pdf,xls,ppt,pptx,doc,dot,docx,jpeg,jpg,png,gif,bmp等类型文件。每次仅能上传单份数据文件,单次上传文件大小不能超过20MB。该类型的数据在交换时会自动添加水印。
- 数据集:结构化的数据资源,当前支持上传CSV格式的单份数据文件,单次上传数据集大小不能超过20MB。支持上传JDBC类型的数据,每次只能选择一张表的数据上传,单个表大小不超过20GB,单个表最大行数不超过20万行。
资源名称
文件上传后在数据目录展示的名称。要求如下:
- 长度范围为1位~100位。
- 名称由中文、英文、数字、下划线(_)、中划线(-)和英文括号(())组成。
- 只能以中文或者英文开头。
- 定义资源后,添加对应数据。
- 资源类型为文件时,具体的参数说明如表2所示。
表2 参数说明 数据来源
参数
说明
文件上传
新增文件
用户本地上传文件到EDS空间下的连接器。
单击“新增文件”,添加待上传的数据文件后,界面将显示文件的文件名称、类型、大小、状态、上传时间、操作等基本信息。
FTP上传
数据源
FTP数据源,用户从FTP数据库服务器获取数据。如没有FTP数据源,可通过接入数据源接入。
访问路径
FTP服务器中要访问的文件夹的路径。
说明:该路径下文件需符合以下规则,否则会导致传输失败:
- 文件数量包括文件夹不能超过1000个。
- 文件总大小不能超过6GB。
文件名称
上传文件的名称,如不输入,默认上传该路径下所有文件。
OBS上传
数据源
OBS数据源,用户从OBS桶中获取数据。如没有OBS数据源,可通过接入数据源接入。
访问路径
OBS桶中存放文件的路径。
说明:该路径下文件需符合以下规则,否则会导致传输失败:
- 文件数量包括文件夹不能超过1000个。
- 文件总大小不能超过6GB。
文件名称
上传文件的名称,如不输入,默认上传该路径下所有文件。
API
数据源
API数据源,通过调用接口获取数据。
如没有API数据源,可通过接入数据源接入。
入参配置
Params:配置调用接口请求参数。
Headers:配置调用接口请求消息头信息。
Body:配置调用接口请求消息体。
- 资源类型为数据集时,具体的参数说明如表3所示。
表3 参数说明 数据来源
参数
说明
CSV
添加文件
用户本地上传CSV文件到EDS空间下的连接器。
单击“新增文件”,添加待上传的数据文件后,界面将显示文件名称和大小,并展示预览CSV文件数据。
说明:CSV格式的文件表头不可为中文且不能重复。
JDBC
数据源
用户可以选择ORACLE、MYSQL、DWS或MRS_HIVE数据源,从数据库中获取数据。如没有数据源,可通过接入数据源接入。
- 上传Oracle需要上传表所在的schema的只读权限,同时需要赋予该用户DBA_CONSTRAINTS 、DBA_CONS_COLUMNS、DBA_TAB_COLUMNS、DBA_TABLES这四个表的查询权限。
- 上传mysql需要具有数据库的只读权限。
- 上传dws需要上传表所在的schema的只读权限。
- 下载结构化数据到mysql需要数据库的建表(create)和写入(insert)权限,而下载到Oracle和dws需要下载至目标schema的写入(insert)和建表(create)权限。
表
数据库中的表,可通过下拉框选择相应的表数据。
- 资源类型为文件时,具体的参数说明如表2所示。
- (可选)如果您选择的资源类型为数据集且数据来源为JDBC时,可选择是否定时采集数据,具体的参数说明如表4所示。
- 数据添加完成后,单击“确定”,提交上传的数据资源,通过数据目录列表的“传输状态”和“进度”查看数据上传结果。
- 数据资源上传完成后,用户可以交换资源,具体操作请参见点对点交换或数据市场交换。
步骤2:点对点交换
如下步骤由数据提供方进行操作。
- 在连接器控制台界面,选择界面左侧导航栏中的“数据目录”,选择“我的数据 > 本地接入”,单击想要交换的资源文件右侧“操作”列的“点对点发送”。
- 在“新增数据交换合约”界面,设置合约的基本信息,具体参数如表5所示。
- 基本信息设置完成后,在“数据清单”区域检查数据列表内容是否正确。支持对数据列表内容进行增加和查看操作。
- 增加:数据清单为空时,单击“选择连接器数据”,在弹出的“选择连接器资源”界面选择要上传的数据资源文件,单击“确定”,添加文件。
- 查看:单击对应数据资源文件右侧的“查看”,可查看该数据资源的详细信息,目前仅支持查看Excel、PDF、图片格式的数据资源文件。
- (可选)JDBC类型数据用户可自定义配置字符串类型数据脱敏规则。脱敏规则通过配置前后缀保留位数来对结构化数据中字符串类型指定字段值进行脱敏,如果前后缀均不配置规则,则该字段的值在传输过程中不会进行脱敏。
数据脱敏规则:
- 如果只配置前缀脱敏规则,则只会对前缀进行保留。例如:数据为“交换数据空间”,填写前缀保留位数为1,数据脱敏后内容显示为“交XXXXX”。
- 如果只配置后缀脱敏规则,则只会对后缀进行保留。例如:数据为“交换数据空间”,填写后缀保留位数为2,数据脱敏后内容显示为“XXXX空间”。
- 如果前后缀脱敏均配置,则会对前后缀一起进行保留。例如:数据为“交换数据空间”,填写前缀保留位数为1,填写后缀保留位为2,数据脱敏后内容显示为“交XXX空间”。
- 如果同时配置了前缀和后缀脱敏规则,并且前缀和后缀的保留位数之和超过字段值的长度,则该值将按原样显示。例如,对于值“交换数据空间”,如果前缀中的保留位数为5,后缀中的保留位数为7,则结果为“交换数据空间”。
- 设置完成后,在“使用控制策略”区域,单击消费方连接器对应行的“展开”,编辑“数据使用策略”,具体参数如表6所示。
表6 参数说明 参数
说明
可用操作
数据提供方对数据消费方操作数据的限制方法,通过“约束条件”对查看、加工和下载进一步限制。
- 查看:用户可以查看资源文件详细信息。
- 加工:用户可以在预览的时候处理数据资源文件。
- 下载:用户可以下载数据资源文件到本地。
默认勾选“查看”,可勾选“加工”和“下载”,给数据消费方指定使用规则。
说明:PDF格式文件、图片格式文件和结构化数据不支持勾选加工,其余限制方法皆可使用。Excel格式文件都可以使用。
约束条件
通过Who、When和How many等几个方面限制数据消费方对数据的使用。
- Who:指定消费方的用户或团队进行数据交换。选择的该用户需拥有数据接收者角色,才可以接收数据。选择的团队为消费方连接器下的某个团队。
- When:控制使用的时间,包括起始时间和截止时间。若不设置,以系统当前时间为初始时间,默认一个月后为截止时间。
- How many:限制可用操作的次数,默认不输入,则不限制次数。限制不同的操作方法使用的应用。如果暂无可用应用,可前往注册应用实例。
可见列名(数据集限定控制策略)
控制使用的数据集列字段的内容,选择数据集列的字段会进行数据交换,不选择的列字段不会进行数据交换。至少选择一个字段。
可见行(数据集限定控制策略)
控制使用的数据集行字段的内容,进行条件设置如大于、大于等于、等于、小于等,再输入值,根据值筛选内容如id=123,会筛选出id=123的数据,进行交换。
选择数据消费方时,如果选择多个连接器或连接器分组,在“使用控制策略”区域需要针对每个连接器设置使用控制策略。
- 数据使用策略设置完成后,在“数据交换策略”区域,设置“数据使用策略”,该策略支持数据提供方可提前终止合约,并收回数据,无需消费方同意。
:关闭合约终止策略,提供方无法提前终止合约。
:开启合约终止策略,提供方可提前终止合约。
- (可选)数据使用策略勾选“加工”时,在“数据交换策略”区域,设置“加工产物审批”,确认数据消费方下载数据产物时,是否需要提供方审批。
如数据没有开放下载权限,无法选择合约审批策略。
:关闭合约审批策略,消费方下载数据加工产物时无需提供方审批。
:开启合约审批策略,消费方下载数据加工产物时需要提供方审批。
- 数据交换策略设置完成后,在“选择审批人”区域,选择审批人,即选择形成合约的审批对象。选择完成后,单击“确定”。
完成点对点发送,等待审批人审批和数据消费方接收数据。
审批人选择自己时跳过审批环节,接收方直接收到数据。当审批人选择其他用户时,需要走审批流程。
- 审批人在连接器单击“工作台”的“我的待办”,查看我的待办内容,确认无误单击“审批”。
- 在连接器中,选择界面左侧导航栏“数据合约”,在“我提供的数据合约”页签下,等待合约状态由“合约生成中”到“合约生成成功”。
步骤3:审批资源
如下步骤由数据提供方的审批人进行操作。
![](https://support.huaweicloud.com/qs-eds/public_sys-resources/note_3.0-zh-cn.png)
审批人判断资源交换、上架offer和形成合约信息无误,审批通过。可通过“连接器管理 > 用户管理”,单击右侧“用户授权”,查看用户的角色。再通过“连接器管理 > 角色管理”,查看用户的角色是否拥有审批权限。
- 登录交换数据空间官网。
- 单击“管理控制台”,进入交换数据空间控制台界面。
- 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。
- 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“工作台”,选择“我的待办”页签。
- 选择需要审批的任务,单击“操作”列的“审批”。
- 在“数据交换合约详情”界面中,确认任务的基本信息,确认无误后单击“通过”。
- 在弹出的“生成合约”窗口中,填写“合约描述”,单击“提交”。
- 在连接器中,选择界面左侧导航栏“数据合约”,在“我提供的数据合约”页签下,等待合约状态由“合约生成中”到“合约生成成功”。
步骤4:接收交换资源
如下步骤由数据消费方进行操作。
- 登录交换数据空间官网。
- 单击“管理控制台”,进入交换数据空间控制台界面。
- 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。
- 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“数据目录”,选择“收到的数据”,进入“收到的数据”界面。
- 选择“未读”页签,根据合约名称进行搜索,搜索到未接收的数据。
- 单击资源文件“操作”列的“归档”。
- 选择指定路径,单击“确认”。
“收到的数据”尾部显示的数字表示已经收到但未查看的数据数量。