Loader常用参数
本章节适用于MRS 3.x及后续版本。
参数入口
参数入口,请参考修改集群服务配置参数。
参数说明
配置参数 |
说明 |
默认值 |
范围 |
---|---|---|---|
mapreduce.client.submit.file.replication |
MapReduce任务在运行时依赖的相关job文件在HDFS上的副本数。当集群中DataNode个数小于该参数值时,副本数等于DataNode的个数。当DataNode个数大于或等于该参数值,副本数为该参数值。 |
10 |
3~256 |
loader.fault.tolerance.rate |
容错率。 值大于0时使能容错机制。使能容错机制时建议将作业的Map数设置为大于等于3,推荐在作业数据量大的场景下使用。 |
0 |
0~1.0 |
loader.input.field.separator |
默认的输入字段分割符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分割符,则以此处的默认分割符为准。 |
, |
- |
loader.input.line.separator |
默认的输入行分割符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分割符,则以此处的默认分割符为准。 |
- |
- |
loader.output.field.separator |
默认的输出字段分割符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分割符,则以此处的默认分割符为准。 |
, |
- |
loader.output.line.separator |
Loader输出数据的行分隔符。 |
- |
- |
![](https://support.huaweicloud.com/cmpntguide-mrs/public_sys-resources/note_3.0-zh-cn.png)
- 由于容错率的统计需要时间,为保证使用效果,建议在作业运行时间在2分钟以上时使用“loader.fault.tolerance.rate”参数。
- 此处参数设置的为Loader全局的默认分割符,如果作业的转换步骤中配置了分割符,则以转换步骤为准,转换步骤中没有配置分割符则以此处的默认分割符为准。