更新时间:2024-03-20 GMT+08:00
分享

新增资源

用户通过新增资源将本地数据资源上传到连接器,并且支持周期性定时增量同步源端数据,方便在连接器中完成数据交换。

新增资源

  1. 登录交换数据空间官网
  2. 单击“管理控制台”,进入交换数据空间控制台界面。
  3. 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。
  4. 单击实例下的连接器,选择界面左侧导航栏中的“数据目录”,选择“我的数据 > 本地接入”,单击“新增资源”。
  5. 在“新增资源”界面中,定义资源,具体的参数说明如表1所示。

    表1 参数说明

    参数

    说明

    资源类型

    • 文件:非结构化的数据资源,当前支持xlsx,pdf,xls,ppt,pptx,doc,dot,docx,jpeg,jpg,png,gif,bmp等类型文件。每次仅能上传单份数据文件,单次上传文件大小不能超过20MB。该类型的数据在交换时会自动添加水印。
    • 数据集:结构化的数据资源,当前支持上传CSV格式的单份数据文件,单次上传数据集大小不能超过20MB。支持上传JDBC类型的数据,每次只能选择一张表的数据上传,单个表大小不超过20GB,单个表最大行数不超过20万行。

    资源名称

    文件上传后在数据目录展示的名称。要求如下:

    • 长度范围为1位~100位。
    • 名称由中文、英文、数字、下划线(_)、中划线(-)和英文括号(())组成。
    • 只能以中文或者英文开头。

  6. 定义资源后,添加对应数据。

    • 资源类型为文件时,具体的参数说明如表2所示。
      表2 参数说明

      数据来源

      参数

      说明

      文件上传

      新增文件

      用户本地上传文件到EDS空间下的连接器。

      单击“新增文件”,添加待上传的数据文件后,界面将显示文件的文件名称、类型、大小、状态、上传时间、操作等基本信息。

      FTP上传

      数据源

      FTP数据源,用户从FTP数据库服务器获取数据。如没有FTP数据源,可通过接入数据源接入。

      访问路径

      FTP服务器中要访问的文件夹的路径,该路径下文件需符合以下规则:

      1. 该路径下的文件数量包括文件夹不能超过5000个。
      2. 单个文件的大小不能超过5120MB。

      文件名称

      上传文件的名称,如不输入,默认上传该路径下所有文件。

      OBS上传

      数据源

      OBS数据源,用户从OBS桶中获取数据。如没有OBS数据源,可通过接入数据源接入。

      访问路径

      OBS桶中存放文件的路径,该路径下文件需符合以下规则:

      1. 该路径下的文件数量包括文件夹不能超过5000个。
      2. 单个文件的大小不能超过5120MB。

      文件名称

      上传文件的名称,如不输入,默认上传该路径下所有文件。

      API

      数据源

      API数据源,通过调用接口获取数据

      如没有API数据源,可通过接入数据源接入。

      入参配置

      Params配置调用接口请求参数。

      Headers:配置调用接口请求消息头信息。

      Body:配置调用接口请求消息体

    • 资源类型为数据集时,具体的参数说明如表3所示。
      表3 参数说明

      数据来源

      参数

      说明

      CSV

      添加文件

      用户本地上传CSV文件到EDS空间下的连接器。

      单击“新增文件”,添加待上传的数据文件后,界面将显示文件名称和大小,并展示预览CSV文件数据。

      说明:

      CSV格式的文件表头不可为中文且不能重复。

      JDBC

      数据源

      用户可以选择ORACLE、MYSQL、DWS或MRS_HIVE数据源,从数据库中获取数据。如没有数据源,可通过接入数据源接入。

      • 上传Oracle需要上传表所在的schema的只读权限,同时需要赋予该用户DBA_CONSTRAINTS 、DBA_CONS_COLUMNS、DBA_TAB_COLUMNS、DBA_TABLES这四个表的查询权限。
      • 上传mysql需要具有数据库的只读权限。
      • 上传dws需要上传表所在的schema的只读权限。
      • 下载结构化数据到mysql需要数据库的建表(create)和写入(insert)权限,而下载到Oracle和dws需要下载至目标schema的写入(insert)和建表(create)权限。

      数据库中的表,可通过下拉框选择相应的表数据。

  7. (可选)如果您选择的资源类型为数据集且数据来源为JDBC时,可选择是否定时采集数据,具体的参数说明如表4所示。

    表4 参数说明

    数据来源

    参数

    说明

    JDBC

    是否定时采集

    选择是否要开启定时采集任务。

    定时调度

    选择采集任务执行的定时调度类型,与定时执行时间配合使用。

    定时执行时间

    选择采集任务定时执行时间。

    立即执行

    立即执行一次采集任务,不论执行周期与时间。

    定时说明

    对选择的定时调度和定时执行时间进行解释说明。

  8. 数据添加完成后,单击“确定”,提交上传的数据资源,通过数据目录列表的“传输状态”和“进度”查看数据上传结果。
  9. 数据资源上传完成后,用户可以交换资源,具体操作请参见点对点交换数据市场交换

更多操作

资源新增完成后,用户还可以执行如表5的操作。

表5 更多操作

操作

说明

查看资源上传进度详情

在数据目录列表,选择“我的数据 > 本地接入”。选择需要查看资源上传进度详情的资源文件,单击右侧“进度”列的“详情”,即可查看资源上传进度详情。

查看资源详情

在数据目录列表,“我的数据”目录下,归档数据、本地上传数据和加工数据可查看的信息和可用操作不相同,具体如下。

  • 查看归档数据:选择“我的数据 > 归档数据”,单击资源文件名称。选择“全部数据”页签,可查看包含的所有数据名称、数据编码、大小、数据状态和可用操作。选择“资源信息”查看资源名称、编码、来源空间、更新时间以及签订的策略详情。
  • 查看本地接入:选择“我的数据 > 本地接入”,单击资源文件名称。选择“全部数据”页签,可查看包含的所有数据文件名称或数据文件路径、关联合约数、数据编码、大小和可用操作。选择“资源信息”查看资源名称、编码、来源空间、更新时间等。
  • 查看加工数据:选择“我的数据 > 加工数据”,单击资源文件名称。选择“全部数据”页签,可查看包含的所有数据文件名称或数据文件路径、关联合约数、数据编码、大小、更新时间和可用操作等。选择“资源信息”查看资源名称、编码、来源空间、更新时间、责任人、描述等基本信息以及签订的策略详情。

查看任务记录

在数据目录列表,单击界面右上角“任务记录”,即可查看任务名称、任务描述、任务类型、驱动类型、资源名称、资源类型、状态、进度、创建人和创建时间等详细信息。只可查看从数据源导入数据,驱动类型是CDM的任务。

查看数据相关合约信息

在数据目录列表,选择“我的数据 > 本地接入”,单击资源文件名称,进入资源详情界面。选择“全部数据”页签,单击“关联合约数”下方的数字,可查看数据交换的合约名称、资源编码、状态、交换模式等信息。

点对点交换

在数据目录列表,选择“我的数据 > 本地接入”。选择待交换的资源文件,单击右侧“操作”列的“点对点发送”,可以将资源一对一发送给数据消费方,点对点交换的详细操作请参见点对点交换

上架offer

在数据目录列表,选择“我的数据 > 本地接入”。选择待上架的资源文件,单击右侧“操作”列的“上架offer”,可以将资源上架到数据市场,数据消费方通过数据市场查看或下载资源。上架offer的详细操作请参见数据市场交换

下载资源

在数据目录列表,选择“我的数据 > 归档数据”,单击资源文件名称,进入资源详情界面。选择“全部数据”页签,单击数据文件右侧“操作”列的“下载”,可以根据相关应用将数据下载到不同的地方。

删除资源

在数据目录列表,选择“我的数据”,单击文件夹或资源文件右侧“操作”列的“删除”,可以删除文件夹或资源文件。

重命名资源

在数据目录列表,选择“我的数据 > 本地接入”。选择待重命名的资源文件,单击右侧“操作”列的“重命名”,可以重命名资源文件。

分享:

    相关文档

    相关产品