更新时间:2022-08-17 GMT+08:00

作业开发流程

作业开发功能提供如下能力:
  • 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。
  • 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型,通过任务间依赖完成复杂数据分析处理。
  • 支持多种作业调度方式。
  • 支持导入和导出作业。
  • 支持作业状态运维监控和作业结果通知。
  • 提供编辑锁定能力,支持多人协同开发场景。
  • 支持作业的版本管理能力。
开发作业前,您可以通过图1了解数据开发模块作业开发的基本流程。
图1 作业开发流程
  1. 新建作业:当前提供两种作业类型:批处理和实时处理,分别应用于批量数据处理和实时连接性数据处理,具体请参见新建作业
  2. 开发作业:基于新建的作业,进行作业开发,您可以进行编排、配置节点。具体请参见开发作业
  3. 调度作业:配置作业调度任务。具体请参见调度作业
    • 如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务(批处理作业)
    • 如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即每一个节点可以独立调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置节点调度任务(实时作业)
  4. 提交版本并解锁:作业调度配置完成后,您需要提交版本并解锁,提交版本并解锁后才能用于调度运行,便于其他开发者修改。具体请参见提交版本并解锁
  5. (可选)管理作业:作业开发完成后,您可以根据需要,进行作业管理。具体请参见(可选)管理作业