更新时间:2021-12-17 GMT+08:00
分享

附录 任务配置参考

在自定义创建编排工程界面,任务配置参考见本章节,见表1

表1 任务列表

组件

说明

采集上云

请参见本地上传

数据解析

请参见数据解析

数据处理

请参见数据处理

数据加载

请参见数据加载

数据模型

请参见数据模型

数据集发布

请参见数据集发布

本地上传

本地上传参数说明见表1

表2 本地上传参数说明

参数

说明

任务信息

任务名称

必填项。

任务的名称。

数据源信息

数据存储路径

支持选项:

  • 默认:提供的默认路径,将数据上传至默认的OBS桶路径下。默认值为“默认”。
  • 自定义:选择OBS桶的路径,将数据上传至指定路径下。

自定义路径操作方法:

  1. “数据存储路径”右侧,单击“选择路径”
  2. “路径选择”界面,下拉框中选择OBS桶名。
  3. 选择某个指定路径。
  4. 单击“确定”

数据解析

对应的参数请参考创建解析任务

数据处理

  1. 输入数据处理任务的名称、选择前置任务(可选)。
  2. 在作业列表中,选择需要的数据处理任务。

    若在创建自定义工程之前,用户未创建作业但需要使用,可以在界面右侧单击“管理作业”,详细介绍请参见管理新增作业,创建完成之后在界面左上方单击“返回”,并刷新作业列表。

  3. (可选)管理已有作业。

    在作业对应的“操作”下,单击,查看作业配置信息和日志。

    在作业对应的“操作”下,单击,重新编辑作业。

    在作业对应的“操作”下,单击,刷新作业。

数据加载

  1. 输入数据加载任务的名称、选择前置任务(可选)。
  2. 在任务列表中,选择需要的数据加载任务。

    若在创建自定义工程之前,用户未创建数据加载任务但需要使用,可以在界面右侧单击“管理任务”,详细介绍请参见创建加载任务,创建完成之后在界面左上方单击“返回”,并刷新任务列表。

数据模型

  1. 输入数据建模任务的名称。
  2. 在左侧依次单击DataModeling及其子目录前面的,展开目录。
  3. 单击已创建模型的目录名称。

    若在创建自定义工程之前,用户未创建数据模型但需要使用,可以在界面右侧单击“创建模型”,详细介绍请参见创建逻辑实体~发布模型,创建完成之后在界面右上角单击“返回”,并刷新模型列表。

  4. 在右侧模型列表中,选择需要的数据模型。
  5. (可选)管理已有目录和实体。

    ,依次为编辑、新增、删除和刷新目录。

    在逻辑实体对应“操作”列下,单击“修改”“取消发布”,可以修改逻辑实体、取消发布。

    在逻辑实体对应“物理实体”列下,单击,单击“新增”“修改”,可以新增、删除物理实体。

数据集发布

数据集发布参数说明见表3

表3 数据集发布参数说明

参数

说明

任务信息

任务名称

必填项。

数据集发布任务的名称。

参数信息

数据建模

如果工程治理阶段中添加有数据建模任务时,才有此参数。

必选项。

在下拉框中选择数据建模的任务名称信息。

数据集名称

必填项。

待发布数据集的名称。

“数据建模”选择任务名称后,自动显示。

源目录

必填项。

待发布数据集的来源目录。

“数据建模”选择值后,自动显示。

目标目录

必选项。

待发布数据集的存放目录。支撑如下选项:

  • 选择已有目录
    • 用户直接选择目录执行操作:单击选择已有目录右侧的,在弹出界面选择需要的目录。
    • 用户新增目录并且选择目录执行操作:单击选择已有目录右侧的“创建目录”,创建目录的方法请参考管理目录。创建完成后,单击选择已有目录右侧的,在弹出界面选择需要的目录。
      说明:

      在数据集中创建目录时,该用户需要具有“Data Operation Engineer”角色。

  • 自动生成目录。

标签

选填项。

待发布数据集的标签信息。

描述

选填项。

待发布数据集的描述信息。

相关文档