作业任务参数说明
在指定集群创建作业或者随机集群创建作业并执行时，由“driver-config-values”参数指定作业任务配置，包含如下功能：
- 作业失败重试：如果作业执行失败，可选择是否自动重新启动作业。
- 作业分组：CDM支持对作业进行分组，分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。
- 是否定时执行：可选择作业是否定时自动启动。
- 抽取并发数：可设置同时执行的抽取任务数。
- 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。
- 作业运行完是否删除：可选择是否自动删除作业。
JSON样例
"driver-config-values": {
"configs": [
{
"inputs": [
{
"name": "throttlingConfig.numExtractors",
"value": "1"
},
{
"name": "throttlingConfig.numLoaders",
"value": "1"
},
{
"name": "throttlingConfig.recordDirtyData",
"value": "false"
}
],
"name": "throttlingConfig"
},
{
"inputs": [],
"name": "jarConfig"
},
{
"inputs": [
{
"name": "schedulerConfig.isSchedulerJob",
"value": "false"
},
{
"name": "schedulerConfig.disposableType",
"value": "NONE"
}
],
"name": "schedulerConfig"
},
{
"inputs": [],
"name": "transformConfig"
},
{
"inputs": [
{
"name": "retryJobConfig.retryJobType",
"value": "NONE"
}
],
"name": "retryJobConfig"
}
]
}
参数说明
|
参数 |
是否必选 |
类型 |
说明 |
|---|---|---|---|
|
throttlingConfig.numExtractors |
否 |
Integer |
最大抽取任务并发数，例如：“20”。 |
|
groupJobConfig.groupName |
否 |
枚举 |
选择作业所属的分组，默认分组为“DEFAULT”。 |
|
throttlingConfig.numLoaders |
否 |
Integer |
仅当HBase或Hive作为目的数据源时该参数才有效。 最大加载任务数，例如：“5”。 |
|
throttlingConfig.recordDirtyData |
否 |
Boolean |
是否写入脏数据，例如：“true”。 |
|
throttlingConfig.writeToLink |
否 |
String |
脏数据要写入的连接，目前只支持写入到OBS连接或HDFS连接。例如：“obslink”。 |
|
throttlingConfig.obsBucket |
否 |
String |
写入脏数据的OBS桶的名称，只有当脏数据要写入OBS连接的时候，此参数才生效。例如：“dirtyData”。 |
|
throttlingConfig.dirtyDataDirectory |
否 |
String |
写入脏数据的目录：
|
|
throttlingConfig.maxErrorRecords |
否 |
String |
单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时，任务自动结束，已经导入的数据不回退。 |
|
schedulerConfig.isSchedulerJob |
否 |
Boolean |
是否开启定时任务，例如：“true”。 |
|
schedulerConfig.cycleType |
否 |
String |
定时任务的周期类型，目前支持五种周期类型：
|
|
schedulerConfig.cycle |
否 |
Integer |
定时任务的周期，如果周期类型选择了“minute”，“cycle”输入“10”，就表示该定时任务每10分钟执行一次。 |
|
schedulerConfig.runAt |
否 |
String |
定时任务在周期内的触发时间，当周期为“hour”、“week”或“month”时，该参数有效。
|
|
schedulerConfig.startDate |
否 |
String |
定时任务的开始时间，例如：“2018-01-24 19:56:19”。 |
|
schedulerConfig.stopDate |
否 |
String |
定时任务的结束日期，例如：“2018-01-27 23:59:00”。 如果不输入结束时间，则表示定时任务将一直执行，永远不会结束。 |
|
schedulerConfig.disposableType |
否 |
枚举 |
作业运行完是否删除：
|
|
retryJobConfig.retryJobType |
否 |
枚举 |
如果作业执行失败，选择是否自动重试：
|
