更新时间:2025-05-06 GMT+08:00

任务调研

任务调研主要包括如下方面:

表1 任务调研方法表

调研内容

描述

任务调度

如Azkaban、DolphinScheduler,Hera、Crontab等。

任务类型

基于编程语言分类:

  • Jar类:常用于MRS、Flink、Spark等
  • SQL类: 常用于Hive、Spark、UDF等
  • Python类:常用于Spark、算法场景等
  • 其他类:如Shell、Scala等,多用于脚本调用

任务数量

调研各类任务的总数量,用于评估任务迁移周期及改造工作量。如:Azkaban任务调度平台下,Jar任务820个。

任务更新周期

识别出不同调度平台,不同任务类型的任务更新周期。如:Azkaban调度平台Jar类任务月度更新;XXL-Job平台Shell类型任务每日22:00点更新。

任务详细信息

识别出所有任务的详细信息,包括任务ID、名称、责任部门、责任人、执行时间、更新周期等。用于后续任务改造和迁移时,和关键人员及时沟通。

任务依赖关系

识别关键任务,识别任务间依赖关系。

调研的方法主要是通过当前大数据平台获取,并辅助一些调研访谈进行补充和确认。