新增资源
用户通过新增资源将本地数据资源上传到连接器,方便在连接器中完成数据交换。
新增资源支持在我的数据以及团队数据中新增,两者互不相通,请根据需求添加。
新增资源
- 登录交换数据空间官网。
- 单击“管理控制台”,进入交换数据空间控制台界面。
- 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。
- 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
- 参考以下步骤进入“新增资源”界面。
- 个人数据新增:选择界面左侧导航栏中的“数据目录”,选择“我的数据 > 本地接入”,单击“新增资源”。
- 团队数据新增:选择界面左侧导航栏中的“数据目录”,选择“团队数据”,在“我的团队”页面找到需要新增资源的团队卡片,团队创建请参考创建团队,单击团队卡片上的“本地接入”,然后单击“新增资源”。
- 在“新增资源”界面中,定义资源,具体的参数说明如表1所示。
- 定义资源后,添加对应数据。
- 资源类型为文件时,具体的参数说明如表2所示。
表2 参数说明 参数
说明
文件上传
用户本地上传文件到EDS空间下的连接器。
单击“新增文件”,添加待上传的数据文件后,界面将显示文件的文件名称、类型、大小、操作等基本信息。
FTP上传
- 数据源
FTP数据源,用户从FTP数据库服务器获取数据。如没有FTP数据源,可通过接入数据源接入。
- 访问路径
说明:
该路径下文件需符合以下规则,否则会导致传输失败:
- 文件数量包括文件夹不能超过1000个。
- 文件总大小不能超过6GB。
OBS上传
- 数据源
OBS数据源,用户从OBS桶中获取数据。如没有OBS数据源,可通过接入数据源接入。
- 访问路径
说明:
该路径下文件需符合以下规则,否则会导致传输失败:
- 文件数量包括文件夹不能超过1000个。
- 文件总大小不能超过6GB。
- 数据源
- 资源类型为数据集时,具体的参数说明如表3所示。
表3 参数说明 数据来源
参数
说明
CSV
存储方式
文件存储方式,当前仅支持物理存储。
文件
用户本地上传CSV文件到EDS空间下的连接器。
单击“上传文件”,添加待上传的数据文件后,界面将显示文件名称和大小,并展示预览CSV文件数据。
说明:CSV格式的文件表头不可为中文且不能重复。
API
存储方式
文件存储方式,当前仅支持物理存储。
API名称
选择已经配置好的API。
API描述
对已选择的API添加描述说明。
数据名称
配置数据名称。
入参设置
API的入参配置,其中“是否必填”以及“值”为用户自定义配置。
- 是否必填:入参参数是否为必填项,如为必填项,则开启。
- 值:支持修改值,对此字段配置过滤值。
出参设置
API的出参配置,其中“是否选择”以及“是否支持搜索”为用户自定义配置。
- 是否选择:可开启和关闭,表示该字段是否在列表中显示。
- 是否支持搜索:支持开启和关闭,如果关闭表示该字段不支持按条件查询。
DB
存储方式
文件存储方式,当前仅支持物理存储。
数据源名称
用户可以选择ORACLE、MYSQL、DWS或MRS_HIVE数据源,从数据库中获取数据。如没有数据源,可通过接入数据源接入。
选表方式
当前支持选表,无需选择,系统默认配置。
表名称
选择数据库中的表,可通过下拉框选择相应的表数据。
数据名称
配置数据名称。
数据设置
表示选择某个数据源的某张表后,展示该表的字段,选择所需要的字段,进行自定义配置。
- 选择:表示选择此字段。
- 中文名称:字段的中文名称。
- 英文名称:字段的英文名称。
- 过滤:表示是否对此字段进行过滤,表示开启过滤。
- 过滤类型:可选择过滤类型(=、>、>=、<、<=、between、like、in),对数据记录进行过滤。
- 过滤值:
- 过滤类型为“=”时,过滤值自定义输入。
- 过滤类型为“>”时,过滤筛选出来的内容需大于配置的过滤值。
- 过滤类型为“>=”时,过滤筛选出来的内容需大于等于配置的过滤值。
- 过滤类型为“<”时,过滤筛选出来的内容需小于配置的过滤值。
- 过滤类型为“<=”时,过滤筛选出来的内容需小于等于配置的过滤值。
- 过滤类型为“between”时,需输入起始值以及终止值,过滤筛选出来的内容为起始值以及终止值的中间值。
- 过滤类型为“like”时,输入关键字,用于进行模糊筛选,表示过滤筛选出来的内容包含输入的过滤值中的关键字。
- 过滤类型为“in”时,直接输入,若为多个值用英文逗号隔开,表示过滤筛选出来的内容为输入的过滤值中的其中一个。
增量方式
系统默认选择为“全量”。
- 资源类型为文件时,具体的参数说明如表2所示。
- (可选)如果您选择的资源类型为数据集且资源数据为API或DB时,可选择是否定时采集数据,具体的参数说明如表4所示。
- 数据添加完成后,单击“提交”,提交上传的数据资源。
如勾选“本次提交执行调度(调度结果可在资源日志中查看)”则会在提交时立即执行一次采集任务。
- 数据资源上传完成后,用户可以交换资源,具体操作请参见点对点交换或数据市场交换。