更新时间:2024-04-22 GMT+08:00
分享

Batch Task

本章节介绍如何使用Batch Task进行数据开发。

前提条件

已获取服务运维岗位权限,权限申请操作请参见申请权限

新建Batch Task任务

  1. 进入运维中心工作台。
  2. 在顶部导航栏选择自有服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的运维数据开发 > 数据开发,进入“数据开发”页面。
  2. 单击“离线开发 > Batch Task”,进入Batch Task页面。
  3. 单击“新建任务”,进入New Batch Task页面。
  4. 配置Batch Task任务参数,参数说明如表1所示。配置完成后,单击“确定”。

    表1 配置Batch Task任务参数说明

    参数名称

    参数说明

    任务名

    自定义任务名。任务名只能包含字母、数字下划线和中划线,且需要以字母开头。

    描述

    输入任务描述。

    Tags

    选择Tags,如果没有可选的Tags,可以单击“编辑Tags”,新建后选择。

    任务类型

    选择任务类型是“HIVE”还是“SPARK”。

    执行集群

    选择执行集群。

    执行队列

    选择执行队列。

    输入数据表

    编辑输入的数据表。

    输出数据表

    编辑输出的数据表。

    周期类型

    选择调度周期类型,是以day、hour、minute、week或者month。

    周期间隔

    对应周期间隔,默认为1,如果周期类型为day,那么会按照1天为间隔进行调度。

    周期偏移

    设置周期偏移时间。

    期望任务最晚结束时间

    任务相对于周期ID偏移的最晚结束时间,如周期ID为20210101-0000,配置时间为09:00,则期望任务在20210101-0900之前完成。配置后,可在任务监控页面查看未在指定时间内完成的任务。

    任务依赖

    选择任务依赖方式。

    • 普通依赖:依赖任务的相同周期,如大周期任务依赖小周期任务,如天任务依赖小时任务,只依赖最后一个周期。
    • 全周期依赖:如果大周期任务依赖小周期任务,依赖小周期任务的所有周期。
    • T-1依赖:依赖任务的上一个周期,除T-1场景外,不允许配置循环依赖。
    • 忽略错误: 依赖的任务执行失败后,如果选择忽略错误,任务会正常启动。

    任务起始时间

    任务起始周期时间,非调度时间。

    任务结束时间

    任务结束周期时间,非调度时间。

    自身周期间依赖

    选择是否开启周期性依赖。

    任务优先级

    任务在TCC上执行的优先级,数字越小优先级越高。如果出现TCC任务排队的情况,高优先级的任务会被优先调度。

    计算步骤

    单击“添加步骤”,可以添加多个步骤,单击步骤后的“编辑”,根据说明编辑Hive步骤。

    结果导出步骤

    单击“添加步骤”,可以添加多个步骤,单击步骤后的“编辑”,编辑数据来源类型、来源表名、去向类型、去向表名等信息。

    通知步骤

    单击“添加步骤”,可以添加多个步骤,单击步骤后的“编辑”,选择通知方式,并输入自定义消息。

更多操作

您还可以对Batch Task任务进行以下操作。

表2 Batch Task任务管理

操作名称

操作步骤

编辑Tags

  1. 在Batch Task页面单击“编辑Tags”。
  2. 在“编辑Tags”页面单击“新建Tags”。
  3. 输入Tags并单击“保存”。
  4. 单击“确定”。

关联Tags

  1. 在Batch Task任务列表中,单击待关联Tags的TBatch Task任务所在行的“操作”列的“更多 > 关联Tags”。
  2. 选择已新建的Tags。
  3. 单击“确定”。
    说明:

    关联Tags之前须先编辑并新建Tags。

编辑任务

在Batch Task任务列表中,单击待编辑Batch Task任务所在行“操作”列的“编辑”。

启动任务

在Batch Task任务列表中,单击待启动Batch Task任务所在行“操作”列的“启动”。

批量启动任务

  1. 在Batch Task任务列表中,勾选待启动Batch Task任务。
  2. 单击列表上方的“批量启动”。

停止任务

在Batch Task任务列表中,单击待停止Batch Task任务所在行“操作”列的“停止”。

批量停止任务

  1. 在Batch Task任务列表中,勾选待停止Batch Task任务。
  2. 单击列表上方的“批量停止”。

部署更新任务

在Batch Task任务列表中,单击待部署更新的Batch Task任务所在行“操作”列的“更多 > 部署更新”。

删除任务

在Batch Task任务列表中,单击待删除Batch Task任务所在行“操作”列的“更多 > 删除”。

查看操作历史

在Topic列表中,单击待查看操作历史的Batch Task任务所在行“操作”列的“更多 > 操作历史”。

查看历史版本信息

  1. 在Topic列表中,单击待查看历史版本信息的Batch Task任务所在行“操作”列的“更多 > 历史版本信息”。
  2. (可选)可单击历史版本所在行的“对比当前版本”,查看版本差异。

分享:

    相关文档

    相关产品