更新时间:2024-11-06 GMT+08:00
分享

新增资源

用户通过新增资源将本地数据资源上传到连接器,方便在连接器中完成数据交换。

新增资源支持在我的数据以及团队数据中新增,两者互不相通,请根据需求添加。

新增资源

  1. 登录交换数据空间官网
  2. 单击“管理控制台”,进入交换数据空间控制台界面。
  3. 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。
  4. 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。
  5. 参考以下步骤进入“新增资源”界面。

    • 个人数据新增:选择界面左侧导航栏中的“数据目录”,选择“我的数据 > 本地接入”,单击“新增资源”。
    • 团队数据新增:选择界面左侧导航栏中的“数据目录”,选择“团队数据”,在“我的团队”页面找到需要新增资源的团队卡片,团队创建请参考创建团队,单击团队卡片上的“本地接入”,然后单击“新增资源”。

  6. 在“新增资源”界面中,定义资源,具体的参数说明如表1所示。

    表1 参数说明

    参数

    说明

    资源类型

    • 文件:非结构化的数据资源,当前支持xlsx、pdf、xls、ppt、pptx、doc、dot、docx、jpeg、jpg、png、gif、bmp、ftp、obs等类型文件。
    • 数据集:结构化的数据资源,当前支持上传CSV、API、DB格式的数据文件。

    资源数量

    • 定义为一个资源:将上传的一个或多个文件定义为一个资源,在数据交换等操作时根据此资源名称交换该资源名称下的所有文件,需要填写资源名称。
    • 定义为多个资源:将上传的每个文件都单独作为一个资源,并且把文件名称作为资源名称,无需单独命名。

      定义为多个资源只适用于资源类型选择为文件类型。

    资源名称

    文件上传后在数据目录展示的名称。要求长度范围为2位~50位。

    资源描述

    对资源的描述说明。

  7. 定义资源后,添加对应数据。

    • 资源类型为文件时,具体的参数说明如表2所示。
      表2 参数说明

      参数

      说明

      文件上传

      用户本地上传文件到EDS空间下的连接器。

      单击“新增文件”,添加待上传的数据文件后,界面将显示文件的文件名称、类型、大小、操作等基本信息。

      FTP上传

      • 数据源

        FTP数据源,用户从FTP数据库服务器获取数据。如没有FTP数据源,可通过接入数据源接入。

      • 访问路径

        FTP服务器中要访问的文件夹的路径。

        说明:

        该路径下文件需符合以下规则,否则会导致传输失败:

        1. 文件数量包括文件夹不能超过1000个。
        2. 文件总大小不能超过6GB。

      OBS上传

      • 数据源

        OBS数据源,用户从OBS桶中获取数据。如没有OBS数据源,可通过接入数据源接入。

      • 访问路径

        OBS桶中存放文件的路径。

        说明:

        该路径下文件需符合以下规则,否则会导致传输失败:

        1. 文件数量包括文件夹不能超过1000个。
        2. 文件总大小不能超过6GB。
    • 资源类型为数据集时,具体的参数说明如表3所示。
      表3 参数说明

      数据来源

      参数

      说明

      CSV

      存储方式

      文件存储方式,当前仅支持物理存储。

      文件

      用户本地上传CSV文件到EDS空间下的连接器。

      单击“上传文件”,添加待上传的数据文件后,界面将显示文件名称和大小,并展示预览CSV文件数据。

      说明:

      CSV格式的文件表头不可为中文且不能重复。

      API

      存储方式

      文件存储方式,当前仅支持物理存储。

      API名称

      选择已经配置好的API。

      API描述

      对已选择的API添加描述说明。

      数据名称

      配置数据名称。

      入参设置

      API的入参配置,其中“是否必填”以及“值”为用户自定义配置。

      • 是否必填:入参参数是否为必填项,如为必填项,则开启。
      • 值:支持修改值,对此字段配置过滤值。

      出参设置

      API的出参配置,其中“是否选择”以及“是否支持搜索”为用户自定义配置。

      • 是否选择:可开启和关闭,表示该字段是否在列表中显示。
      • 是否支持搜索:支持开启和关闭,如果关闭表示该字段不支持按条件查询。

      DB

      存储方式

      文件存储方式,当前仅支持物理存储。

      数据源名称

      用户可以选择ORACLE、MYSQL、DWS或MRS_HIVE数据源,从数据库中获取数据。如没有数据源,可通过接入数据源接入。

      选表方式

      当前支持选表,无需选择,系统默认配置。

      表名称

      选择数据库中的表,可通过下拉框选择相应的表数据。

      数据名称

      配置数据名称。

      数据设置

      表示选择某个数据源的某张表后,展示该表的字段,选择所需要的字段,进行自定义配置。

      • 选择:表示选择此字段。
      • 中文名称:字段的中文名称。
      • 英文名称:字段的英文名称。
      • 过滤:表示是否对此字段进行过滤,表示开启过滤。
      • 过滤类型:可选择过滤类型(=、>、>=、<、<=、between、like、in),对数据记录进行过滤。
      • 过滤值:
        • 过滤类型为“=”时,过滤值自定义输入。
        • 过滤类型为“>”时,过滤筛选出来的内容需大于配置的过滤值。
        • 过滤类型为“>=”时,过滤筛选出来的内容需大于等于配置的过滤值。
        • 过滤类型为“<”时,过滤筛选出来的内容需小于配置的过滤值。
        • 过滤类型为“<=”时,过滤筛选出来的内容需小于等于配置的过滤值。
        • 过滤类型为“between”时,需输入起始值以及终止值,过滤筛选出来的内容为起始值以及终止值的中间值。
        • 过滤类型为“like”时,输入关键字,用于进行模糊筛选,表示过滤筛选出来的内容包含输入的过滤值中的关键字。
        • 过滤类型为“in”时,直接输入,若为多个值用英文逗号隔开,表示过滤筛选出来的内容为输入的过滤值中的其中一个。

      增量方式

      系统默认选择为“全量”。

  8. (可选)如果您选择的资源类型为数据集且资源数据为API或DB时,可选择是否定时采集数据,具体的参数说明如表4所示。

    表4 参数说明

    参数

    说明

    是否定时采集

    选择是否要开启定时采集任务。

    定时调度

    选择采集任务执行的定时调度类型,与定时执行时间配合使用。

    定时执行时间

    选择采集任务定时执行时间。

    定时说明

    对选择的定时调度和定时执行时间进行解释说明。

  9. 数据添加完成后,单击“提交”,提交上传的数据资源。

    如勾选“本次提交执行调度(调度结果可在资源日志中查看)”则会在提交时立即执行一次采集任务。

  10. 数据资源上传完成后,用户可以交换资源,具体操作请参见点对点交换数据市场交换

相关文档