点对点交换
点对点交换是数据提供方将资源发送给数据消费方的一种消费方式,本文以个人数据为例介绍点对点交换数据。
使用流程
- 数据提供方添加数据资源到EDS数据目录下,请参见步骤1:新增资源。
- 数据提供方和数据消费方进行点对点交换数据资源,请参见步骤2:点对点交换。
- 数据提供方的审批人确认该资源交换无误后审批资源,请参见步骤3:审批资源。
- 数据消费方接收交换的数据资源,请参见步骤4:接收交换资源。
前提条件
- 用户购买或加入交换数据空间,具体操作请参见购买/加入交换数据空间。
- 用户开通并购买/加入连接器,具体操作请参见开通并购买/加入连接器。
- (可选)如果用户加入他人连接器,连接器管理员须授予用户对应角色的权限,具体操作请参见角色管理。
步骤1:新增资源
如下步骤由数据提供方进行操作。
- 数据提供方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。
- 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“数据目录”,选择“我的数据 > 本地接入”,单击“新增资源”。
- 在“新增资源”界面中,定义资源,具体的参数说明如表1所示。
- 定义资源后,添加对应数据。
- 资源类型为文件时,具体的参数说明如表2所示。
表2 参数说明 参数
说明
文件上传
用户本地上传文件到EDS空间下的连接器。
单击“新增文件”,添加待上传的数据文件后,界面将显示文件的文件名称、类型、大小、操作等基本信息。
FTP上传
- 数据源
FTP数据源,用户从FTP数据库服务器获取数据。如没有FTP数据源,可通过接入数据源接入。
- 访问路径
说明:
该路径下文件需符合以下规则,否则会导致传输失败:
- 文件数量包括文件夹不能超过1000个。
- 文件总大小不能超过6GB。
OBS上传
- 数据源
OBS数据源,用户从OBS桶中获取数据。如没有OBS数据源,可通过接入数据源接入。
- 访问路径
说明:
该路径下文件需符合以下规则,否则会导致传输失败:
- 文件数量包括文件夹不能超过1000个。
- 文件总大小不能超过6GB。
- 数据源
- 资源类型为数据集时,具体的参数说明如表3所示。
表3 参数说明 数据来源
参数
说明
CSV
存储方式
文件存储方式,当前仅支持物理存储。
文件
用户本地上传CSV文件到EDS空间下的连接器。
单击“上传文件”,添加待上传的数据文件后,界面将显示文件名称和大小,并展示预览CSV文件数据。
说明:CSV格式的文件表头不可为中文且不能重复。
API
存储方式
文件存储方式,当前仅支持物理存储。
API名称
选择已经配置好的API。
API描述
对已选择的API添加描述说明。
数据名称
配置数据名称。
入参设置
API的入参配置,其中“是否必填”以及“值”为用户自定义配置。
- 是否必填:入参参数是否为必填项,如为必填项,则开启。
- 值:支持修改值,对此字段配置过滤值。
出参设置
API的出参配置,其中“是否选择”以及“是否支持搜索”为用户自定义配置。
- 是否选择:可开启和关闭,表示该字段是否在列表中显示。
- 是否支持搜索:支持开启和关闭,如果关闭表示该字段不支持按条件查询。
DB
存储方式
文件存储方式,当前仅支持物理存储。
数据源名称
用户可以选择ORACLE、MYSQL、DWS或MRS_HIVE数据源,从数据库中获取数据。如没有数据源,可通过接入数据源接入。
选表方式
当前支持选表,无需选择,系统默认配置。
表名称
选择数据库中的表,可通过下拉框选择相应的表数据。
数据名称
配置数据名称。
数据设置
表示选择某个数据源的某张表后,展示该表的字段,选择所需要的字段,进行自定义配置。
- 选择:表示选择此字段。
- 中文名称:字段的中文名称。
- 英文名称:字段的英文名称。
- 过滤:表示是否对此字段进行过滤,表示开启过滤。
- 过滤类型:可选择过滤类型(=、>、>=、<、<=、between、like、in),对数据记录进行过滤。
- 过滤值:
- 过滤类型为“=”时,过滤值自定义输入。
- 过滤类型为“>”时,过滤筛选出来的内容需大于配置的过滤值。
- 过滤类型为“>=”时,过滤筛选出来的内容需大于等于配置的过滤值。
- 过滤类型为“<”时,过滤筛选出来的内容需小于配置的过滤值。
- 过滤类型为“<=”时,过滤筛选出来的内容需小于等于配置的过滤值。
- 过滤类型为“between”时,需输入起始值以及终止值,过滤筛选出来的内容为起始值以及终止值的中间值。
- 过滤类型为“like”时,输入关键字,用于进行模糊筛选,表示过滤筛选出来的内容包含输入的过滤值中的关键字。
- 过滤类型为“in”时,直接输入,若为多个值用英文逗号隔开,表示过滤筛选出来的内容为输入的过滤值中的其中一个。
增量方式
系统默认选择为“全量”。
- 资源类型为文件时,具体的参数说明如表2所示。
- (可选)如果您选择的资源类型为数据集且资源数据为API或DB时,可选择是否定时采集数据,具体的参数说明如表4所示。
- 数据添加完成后,单击“提交”,提交上传的数据资源。
如勾选“本次提交执行调度(调度结果可在资源日志中查看)”则会在提交时立即执行一次采集任务。
步骤2:点对点交换
如下步骤由数据提供方进行操作。
点对点交换存在两种方式,一种是创建合约并发送数据,一种是在已有合约的基础上可以重复多次发送数据,无需新建合约,本步骤以创建合约为例说明。
- 数据提供方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。
- 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“数据目录”,选择“我的数据 > 本地接入”。
- 勾选需要交换的资源,然后单击资源列表上方“创建合约”。
- 在“创建合约”界面,设置合约的基本信息,具体参数如表5所示。
- 配置控制策略。
在创建合约配置策略时,如在策略模板中配置默认策略,会优先加载在策略模板中创建的默认模板,否则展示系统默认策略。
- 配置数据交换策略。
- 配置数据使用策略。
在“控制策略”区域,编辑“数据使用策略”,具体参数如表6所示。
表6 参数说明 参数
说明
已选操作
数据提供方对数据消费方操作数据的限制方法,通过“约束条件”对查看、加工和下载进一步限制。
- 查看:用户可以查看资源文件详细信息。
- 加工:用户可以在预览的时候处理数据资源文件。
- 下载:用户可以下载数据资源文件到本地。
约束条件
通过Who、When、How to、How many等几个方面限制数据消费方对数据的使用。
- Who:限定消费方的用户或团队进行数据交换。选择的用户需拥有数据接收者角色,才可以接收数据。选择的团队为消费方连接器下的某个团队。
- When:控制使用的时间,包括起始时间和截止时间。
- How to:限制不同的应用使用,如果暂无可用应用,可前往注册应用实例。
- How many:限制可用操作的次数,默认不输入,则不限制次数。
选择数据消费方时,如果选择多个连接器或连接器分组,在“使用控制策略”区域需要针对每个连接器设置使用控制策略。
- 选择数据。支持检查数据列表内容是否正确并对数据列表内容进行增加和删除操作。
如果数据内容为空,消费方直接收到空合约,提供方后期可以在空合约上多次发送数据,无需重新配置策略和选择消费方。
- 增加:数据列表为空时,单击“添加数据”,在弹出的“添加数据”界面选择要上传的数据资源文件,单击“确定”。
- 删除:单击对应数据资源文件右侧的“删除”,可删除已添加的资源文件。
- 配置批次信息。配置数据批次,用于在发送数据时,无需重新配置策略和选择消费方,根据批次信息查看数据资源。
表7 参数说明 参数
说明
批次名称
输入当前添加的数据批次名称。
批次说明
输入当前添加的数据批次说明。
- 配置合约审批人。在“合约审批人”区域,选择审批人,即选择形成合约的审批对象,选择完成后,单击“提交”,完成点对点发送,等待审批人审批和数据消费方接收数据。
- 审批人选择自己时跳过审批环节,接收方直接收到数据。当审批人选择其他用户时,需要走审批流程。
- 已创建并发送的合约会在“数据目录 > 收到的数据”中展示。
- 审批人在连接器选择“工作台 > 我的任务”,单击“待办”,查看待办内容,确认无误单击“审批”。
在数据提供方连接器中,选择界面左侧导航栏“数据合约”,在“发出的合约”页签下,合约状态为“生效”状态。
步骤3:审批资源
如下步骤由数据提供方的审批人进行操作。
审批人判断资源交换、上架offer和形成合约信息无误,审批通过。可通过“连接器管理 > 用户管理”,单击右侧“用户授权”,查看用户的角色。再通过“连接器管理 > 角色管理”,查看用户的角色是否拥有审批权限。
- 数据提供方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。
- 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“连接器管理 > 申请待办”,进入“我的申请待办”界面。
- 在界面下方选择“我的待办”页签,选择需要审批的“合约审批”任务,单击“操作”列的“审批”。
- 在“数据交换合约详情”界面中,确认任务的基本信息,确认无误后单击“通过”。
- 在弹出的“生成合约”窗口中,填写“审批意见”,单击“确定”。
步骤4:接收交换资源
如下步骤由数据消费方进行操作,个人数据的接收只能归档至“我的数据”中。
- 数据消费方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。
- 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“数据目录”,选择“收到的数据”,进入“收到的数据”界面。
- 在“收到的数据”界面,系统按照“按批次”和“按合约”两种方式展示,此处以“按批次”为例说明。
单击已生效的资源卡片右上角“归档”,参考表8选择归档路径,单击“确定”。