通过数据市场交换资源
数据市场交换是数据提供方将资源文件上架到数据市场,数据消费方通过数据市场查看和订阅资源,本文以个人数据为例介绍数据市场交换资源。
使用流程
- 数据提供方添加数据资源到EDS数据目录下,请参见步骤1:新增资源。
- 将数据资源上架到数据市场,请参见步骤2:上架offer。
- 数据提供方的审批人确认该申请无误,审批上架,请参见步骤3:审批offer上架请求。
- 数据消费方在数据市场搜索所需offer,进行订阅获取数据资源,请参见步骤4:订阅offer。
- 数据提供方审批人审批数据消费方订阅offer的申请,请参见(可选)步骤5:审批订阅请求。
- 数据提供方审批人审批的Offer申请生成合约后进行合约审批,请参见(可选)步骤6:审批合约。
- 数据消费方管理接收到的数据资源,请参见步骤7:使用资源。
前提条件
- 用户购买或加入交换数据空间,具体操作请参见购买/加入交换数据空间。
- 用户开通并购买/加入连接器,具体操作请参见开通并购买/加入连接器。
- (可选)如果用户加入他人连接器,连接器管理员须授予用户对应角色的权限,具体操作请参见角色管理。
步骤1:新增资源
如下步骤由数据提供方进行操作。
- 数据提供方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。
- 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“数据目录”,选择“我的数据 > 本地接入”,单击“新增资源”。
- 在“新增资源”界面中,定义资源,具体的参数说明如表1所示。
- 定义资源后,添加对应数据。
- 资源类型为文件时,具体的参数说明如表2所示。
表2 参数说明 参数
说明
文件上传
用户本地上传文件到EDS空间下的连接器。
单击“新增文件”,添加待上传的数据文件后,界面将显示文件的文件名称、类型、大小、操作等基本信息。
FTP上传
- 数据源
FTP数据源,用户从FTP数据库服务器获取数据。如没有FTP数据源,可通过接入数据源接入。
- 访问路径
说明:
该路径下文件需符合以下规则,否则会导致传输失败:
- 文件数量包括文件夹不能超过1000个。
- 文件总大小不能超过6GB。
OBS上传
- 数据源
OBS数据源,用户从OBS桶中获取数据。如没有OBS数据源,可通过接入数据源接入。
- 访问路径
说明:
该路径下文件需符合以下规则,否则会导致传输失败:
- 文件数量包括文件夹不能超过1000个。
- 文件总大小不能超过6GB。
- 数据源
- 资源类型为数据集时,具体的参数说明如表3所示。
表3 参数说明 数据来源
参数
说明
CSV
存储方式
文件存储方式,当前仅支持物理存储。
文件
用户本地上传CSV文件到EDS空间下的连接器。
单击“上传文件”,添加待上传的数据文件后,界面将显示文件名称和大小,并展示预览CSV文件数据。
说明:CSV格式的文件表头不可为中文且不能重复。
API
存储方式
文件存储方式,当前仅支持物理存储。
API名称
选择已经配置好的API。
API描述
对已选择的API添加描述说明。
数据名称
配置数据名称。
入参设置
API的入参配置,其中“是否必填”以及“值”为用户自定义配置。
- 是否必填:入参参数是否为必填项,如为必填项,则开启。
- 值:支持修改值,对此字段配置过滤值。
出参设置
API的出参配置,其中“是否选择”以及“是否支持搜索”为用户自定义配置。
- 是否选择:可开启和关闭,表示该字段是否在列表中显示。
- 是否支持搜索:支持开启和关闭,如果关闭表示该字段不支持按条件查询。
DB
存储方式
文件存储方式,当前仅支持物理存储。
数据源名称
用户可以选择ORACLE、MYSQL、DWS或MRS_HIVE数据源,从数据库中获取数据。如没有数据源,可通过接入数据源接入。
选表方式
当前支持选表,无需选择,系统默认配置。
表名称
选择数据库中的表,可通过下拉框选择相应的表数据。
数据名称
配置数据名称。
数据设置
表示选择某个数据源的某张表后,展示该表的字段,选择所需要的字段,进行自定义配置。
- 选择:表示选择此字段。
- 中文名称:字段的中文名称。
- 英文名称:字段的英文名称。
- 过滤:表示是否对此字段进行过滤,表示开启过滤。
- 过滤类型:可选择过滤类型(=、>、>=、<、<=、between、like、in),对数据记录进行过滤。
- 过滤值:
- 过滤类型为“=”时,过滤值自定义输入。
- 过滤类型为“>”时,过滤筛选出来的内容需大于配置的过滤值。
- 过滤类型为“>=”时,过滤筛选出来的内容需大于等于配置的过滤值。
- 过滤类型为“<”时,过滤筛选出来的内容需小于配置的过滤值。
- 过滤类型为“<=”时,过滤筛选出来的内容需小于等于配置的过滤值。
- 过滤类型为“between”时,需输入起始值以及终止值,过滤筛选出来的内容为起始值以及终止值的中间值。
- 过滤类型为“like”时,输入关键字,用于进行模糊筛选,表示过滤筛选出来的内容包含输入的过滤值中的关键字。
- 过滤类型为“in”时,直接输入,若为多个值用英文逗号隔开,表示过滤筛选出来的内容为输入的过滤值中的其中一个。
增量方式
系统默认选择为“全量”。
- 资源类型为文件时,具体的参数说明如表2所示。
- (可选)如果您选择的资源类型为数据集且资源数据为API或DB时,可选择是否定时采集数据,具体的参数说明如表4所示。
- 数据添加完成后,单击“提交”,提交上传的数据资源。
如勾选“本次提交执行调度(调度结果可在资源日志中查看)”则会在提交时立即执行一次采集任务。
步骤2:上架offer
如下步骤由数据提供方进行操作。
- 数据提供方进入连接器控制台界面,选择界面左侧导航栏中的“数据目录”,选择“我的数据 > 本地接入”。
- 勾选资源,然后单击资源列表上方“上架offer”。
- 在“上架offer”界面填写基本信息,具体参数说明如表5所示。
- 在“数据清单”区域检查数据清单内容是否正确。支持对数据列表内容进行添加、删除等操作。
- 添加:单击“选择连接器数据”,在弹出的“选择连接器资源”界面选择要上传的数据资源文件,单击“确定”,添加文件。
- 删除:单击对应数据资源文件右侧的“删除”,删除已选择的资源文件。
- 清空:单击资源列表上方的“清空”,清空已选择的所有资源文件。
- 详情:单击对应数据资源文件右侧的“详情”,查看数据详情。
offer联系人:选择需要上架offer的联系人信息,下拉框选项为已创建并授权交换数据空间服务的用户。
- 编辑使用策略,相关参数说明如表6所示。
表6 参数说明 策略
参数
说明
数据使用策略
已选操作
数据提供方对数据消费方操作数据的限制方法,通过“约束条件”对查看、加工和下载进一步限制。
- 查看:用户可以查看资源文件详细信息。
- 加工:用户可以在查看的时候对数据资源文件加工处理。
- 下载:用户可以通过限制下载次数和限制可用应用将数据资源文件下载到应用所描述的地方。
用户根据需求勾选“查看”、“加工”、“下载”,给数据消费方指定使用规则。
约束条件
通过When、How to、How many三个方面限制数据消费方对数据的使用。
- When:控制使用的时间,包括起始时间和截止时间。当前支持指定时间区间。
- How to:限制不同的应用使用。如果暂无可用应用,可前往注册应用实例。
- How many:限制可用操作的次数,此处使用次数为每个文件"查看+加工+下载"总次数,不输入则默认不限制。
- 选择审批人,即选择offer上架的审批对象。
审批人选择自己时跳过审批环节,资源直接上架成功。当审批人选择其他用户时,需要走审批流程。
- 选择完成后,单击“确定”,等待审批人审批后,完成上架offer。
步骤3:审批offer上架请求
如下步骤由数据提供方的审批人进行操作。
审批人判断资源交换、上架offer和形成合约信息无误,审批通过。可通过“连接器管理 > 用户管理”,单击右侧“用户授权”,查看用户的角色。再通过“连接器管理 > 角色管理”,查看用户的角色是否拥有审批权限。
- 数据提供方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。
- 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“连接器管理 > 申请待办”,进入“我的申请待办”界面。
- 在界面下方选择“我的待办”页签,选择需要审批的“offer审批”任务,单击“操作”列的“审批”。
- 在弹出“数据offer详情”界面中,确认offer的基本信息,确认无误后单击“通过”。
- 在弹出的“审批”窗口中,填写“审批意见”,单击“确定”。
步骤4:订阅offer
如下步骤由数据消费方进行操作。
- 数据消费方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。
- 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“数据市场”,在搜索框中输入需要查询的offer关键字,单击跳转到数据offer列表界面。
- 用户可通过筛选“热度”来获得最近的热门数据,也可以通过选择“提供方”进行进一步筛选。
- 筛选到所需的数据offer后,单击offer名称,进入“offer详情”界面,可查看数据基本信息和数据列表信息。
- 单击界面右上角“订阅”,在“订阅详情”界面中,编辑使用策略,相关参数说明如表7。
表7 参数说明 参数
说明
已选操作
数据消费方自定义数据使用的限制方法,通过“约束条件”对查看、加工和下载进一步限制。
- 查看:用户可以查看资源文件详细信息。
- 加工:用户可以在预览的时候处理数据资源文件。
- 下载:用户可以下载数据资源文件到本地。
约束条件
通过Who、When、How to、How many等几个方面限制数据消费方对数据的使用。
- Who:限定消费方的用户或团队进行数据交换。选择的用户需拥有数据接收者角色,才可以接收数据。选择的团队为消费方连接器下的某个团队。
- When:控制使用的时间,包括起始时间和截止时间。
- How many:限制可用操作的次数,默认不输入,则不限制次数。
订阅offer时,数据消费方可以在数据上架offer时提供的使用控制策略上申请新的策略,覆盖提供方的策略。
- 输入订阅原因后,单击“确定”。
公开offer直接订阅成功,受控offer等待数据提供方审批。用户可在“工作台”的“我的任务”中选择“申请”页签查看申请任务的状态。
(可选)步骤5:审批订阅请求
如为公开offer直接订阅成功,受控offer需等待数据提供方审批。如下步骤由数据提供方进行操作。
- 数据提供方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。
- 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“连接器管理 > 申请待办”,进入“我的申请待办”界面。
- 在界面下方选择“我的待办”页签,选择需要审批的“订阅审批”任务,单击“操作”列的“审批”。
- 在“订阅审批”界面中,确认任务的基本信息,确认无误后单击“通过”。
- 在弹出的“生成合约”对话框中,设置合约基本信息,相关参数说明如表8所示。
- 设置完成后,单击“确定”,完成订阅请求审批。
- 订阅审批后,会生成合约,等待数据提供方审批人审批合约通过后,数据消费方接收数据,合约审批请参考(可选)步骤6:审批合约。
- 审批人选择自己时跳过合约审批环节,接收方直接收到数据。当审批人选择其他用户时,需要走审批流程。
(可选)步骤6:审批合约
受控offer等待数据提供方审批订阅申请后生成合约申请,合约申请经过合约审批人审批后,数据消费方方可接收数据。如下步骤由数据提供方进行操作。
- 数据提供方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。
- 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“连接器管理 > 申请待办”,进入“我的申请待办”界面。
- 在界面下方选择“我的待办”页签,选择需要审批的“合约审批”任务,单击“操作”列的“审批”。
- 在“数据交换合约详情”界面中,确认任务的基本信息,确认无误后单击“通过”。
- 在弹出的“生成合约”窗口中,填写“审批意见”,单击“确定”。
步骤7:使用资源
如下步骤由数据消费方进行操作。
- 数据消费方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。
- 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 选择界面左侧导航栏中的“数据目录”,选择“收到的数据”,进入“收到的数据”界面。
- 在“收到的数据”界面,系统按照“按批次”和“按合约”两种方式展示,此处以“按批次”为例说明。
单击已生效的资源卡片右上角“归档”,参考表9选择归档路径,单击“确定”。