新增资源
用户通过新增资源将本地数据资源上传到连接器,并且支持周期性定时增量同步源端数据,方便在连接器中完成数据交换。
新增资源
- 登录交换数据空间官网。
- 单击“管理控制台”,进入交换数据空间控制台界面。
- 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。
- 单击实例下的连接器,选择界面左侧导航栏中的“数据目录”,选择“我的数据 > 本地接入”,单击“新增资源”。
- 在“新增资源”界面中,定义资源,具体的参数说明如表1所示。
表1 参数说明 参数
说明
资源类型
- 文件:非结构化的数据资源,当前支持xlsx,pdf,xls,ppt,pptx,doc,dot,docx,jpeg,jpg,png,gif,bmp等类型文件。每次仅能上传单份数据文件,单次上传文件大小不能超过20MB。该类型的数据在交换时会自动添加水印。
- 数据集:结构化的数据资源,当前支持上传CSV格式的单份数据文件,单次上传数据集大小不能超过20MB。支持上传JDBC类型的数据,每次只能选择一张表的数据上传,单个表大小不超过20GB,单个表最大行数不超过20万行。
资源名称
文件上传后在数据目录展示的名称。要求如下:
- 长度范围为1位~100位。
- 名称由中文、英文、数字、下划线(_)、中划线(-)和英文括号(())组成。
- 只能以中文或者英文开头。
- 定义资源后,添加对应数据。
- 资源类型为文件时,具体的参数说明如表2所示。
表2 参数说明 数据来源
参数
说明
文件上传
新增文件
用户本地上传文件到EDS空间下的连接器。
单击“新增文件”,添加待上传的数据文件后,界面将显示文件的文件名称、类型、大小、状态、上传时间、操作等基本信息。
FTP上传
数据源
FTP数据源,用户从FTP数据库服务器获取数据。如没有FTP数据源,可通过接入数据源接入。
访问路径
FTP服务器中要访问的文件夹的路径,该路径下文件需符合以下规则:
- 该路径下的文件数量包括文件夹不能超过5000个。
- 单个文件的大小不能超过5120MB。
文件名称
上传文件的名称,如不输入,默认上传该路径下所有文件。
OBS上传
数据源
OBS数据源,用户从OBS桶中获取数据。如没有OBS数据源,可通过接入数据源接入。
访问路径
OBS桶中存放文件的路径,该路径下文件需符合以下规则:
- 该路径下的文件数量包括文件夹不能超过5000个。
- 单个文件的大小不能超过5120MB。
文件名称
上传文件的名称,如不输入,默认上传该路径下所有文件。
API
数据源
API数据源,通过调用接口获取数据。
如没有API数据源,可通过接入数据源接入。
入参配置
Params:配置调用接口请求参数。
Headers:配置调用接口请求消息头信息。
Body:配置调用接口请求消息体。
- 资源类型为数据集时,具体的参数说明如表3所示。
表3 参数说明 数据来源
参数
说明
CSV
添加文件
用户本地上传CSV文件到EDS空间下的连接器。
单击“新增文件”,添加待上传的数据文件后,界面将显示文件名称和大小,并展示预览CSV文件数据。
说明:CSV格式的文件表头不可为中文且不能重复。
JDBC
数据源
用户可以选择ORACLE、MYSQL、DWS或MRS_HIVE数据源,从数据库中获取数据。如没有数据源,可通过接入数据源接入。
- 上传Oracle需要上传表所在的schema的只读权限,同时需要赋予该用户DBA_CONSTRAINTS 、DBA_CONS_COLUMNS、DBA_TAB_COLUMNS、DBA_TABLES这四个表的查询权限。
- 上传mysql需要具有数据库的只读权限。
- 上传dws需要上传表所在的schema的只读权限。
- 下载结构化数据到mysql需要数据库的建表(create)和写入(insert)权限,而下载到Oracle和dws需要下载至目标schema的写入(insert)和建表(create)权限。
表
数据库中的表,可通过下拉框选择相应的表数据。
- 资源类型为文件时,具体的参数说明如表2所示。
- (可选)如果您选择的资源类型为数据集且数据来源为JDBC时,可选择是否定时采集数据,具体的参数说明如表4所示。
- 数据添加完成后,单击“确定”,提交上传的数据资源,通过数据目录列表的“传输状态”和“进度”查看数据上传结果。
- 数据资源上传完成后,用户可以交换资源,具体操作请参见点对点交换或数据市场交换。
更多操作
资源新增完成后,用户还可以执行如表5的操作。
操作 |
说明 |
---|---|
查看资源上传进度详情 |
在数据目录列表,选择“我的数据 > 本地接入”。选择需要查看资源上传进度详情的资源文件,单击右侧“进度”列的“详情”,即可查看资源上传进度详情。 |
查看资源详情 |
在数据目录列表,“我的数据”目录下,归档数据、本地上传数据和加工数据可查看的信息和可用操作不相同,具体如下。
|
查看任务记录 |
在数据目录列表,单击界面右上角“任务记录”,即可查看任务名称、任务描述、任务类型、驱动类型、资源名称、资源类型、状态、进度、创建人和创建时间等详细信息。只可查看从数据源导入数据,驱动类型是CDM的任务。 |
查看数据相关合约信息 |
在数据目录列表,选择“我的数据 > 本地接入”,单击资源文件名称,进入资源详情界面。选择“全部数据”页签,单击“关联合约数”下方的数字,可查看数据交换的合约名称、资源编码、状态、交换模式等信息。 |
点对点交换 |
在数据目录列表,选择“我的数据 > 本地接入”。选择待交换的资源文件,单击右侧“操作”列的“点对点发送”,可以将资源一对一发送给数据消费方,点对点交换的详细操作请参见点对点交换。 |
上架offer |
在数据目录列表,选择“我的数据 > 本地接入”。选择待上架的资源文件,单击右侧“操作”列的“上架offer”,可以将资源上架到数据市场,数据消费方通过数据市场查看或下载资源。上架offer的详细操作请参见数据市场交换。 |
下载资源 |
在数据目录列表,选择“我的数据 > 归档数据”,单击资源文件名称,进入资源详情界面。选择“全部数据”页签,单击数据文件右侧“操作”列的“下载”,可以根据相关应用将数据下载到不同的地方。 |
删除资源 |
在数据目录列表,选择“我的数据”,单击文件夹或资源文件右侧“操作”列的“删除”,可以删除文件夹或资源文件。 |
重命名资源 |
在数据目录列表,选择“我的数据 > 本地接入”。选择待重命名的资源文件,单击右侧“操作”列的“重命名”,可以重命名资源文件。 |