Loader常用参数
参数入口
参数入口,请参考修改集群服务配置参数。
参数说明
配置参数 | 说明 | 默认值 | 范围 |
|---|---|---|---|
mapreduce.client.submit.file.replication | MapReduce任务在运行时依赖的相关job文件在HDFS上的副本数。当集群中DataNode个数小于该参数值时,副本数等于DataNode的个数。当DataNode个数大于或等于该参数值,副本数为该参数值。 | 10 | 3~256 |
loader.fault.tolerance.rate | 容错率。 值大于0时使能容错机制。使能容错机制时建议将作业的Map数设置为大于等于3,推荐在作业数据量大的场景下使用。 | 0 | 0~1.0 |
loader.input.field.separator | 默认的输入字段分隔符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分隔符,则以此处的默认分隔符为准。 | , | - |
loader.input.line.separator | 默认的输入行分隔符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分隔符,则以此处的默认分隔符为准。 | - | - |
loader.output.field.separator | 默认的输出字段分隔符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分隔符,则以此处的默认分隔符为准。 | , | - |
loader.output.line.separator | Loader输出数据的行分隔符。 | - | - |

- 由于容错率的统计需要时间,为保证使用效果,建议在作业运行时间在2分钟以上时使用“loader.fault.tolerance.rate”参数。
- 此处参数设置的为Loader全局的默认分隔符,如果作业的转换步骤中配置了分隔符,则以转换步骤为准,转换步骤中没有配置分隔符则以此处的默认分隔符为准。

