更新时间:2024-05-11 GMT+08:00

Loader常用参数

本章节适用于MRS 3.x及后续版本。

参数入口

参数入口,请参考修改集群服务配置参数

参数说明

表1 Loader常用参数

配置参数

说明

默认值

范围

mapreduce.client.submit.file.replication

MapReduce任务在运行时依赖的相关job文件在HDFS上的副本数。当集群中DataNode个数小于该参数值时,副本数等于DataNode的个数。当DataNode个数大于或等于该参数值,副本数为该参数值。

10

3~256

loader.fault.tolerance.rate

容错率。

值大于0时使能容错机制。使能容错机制时建议将作业的Map数设置为大于等于3,推荐在作业数据量大的场景下使用。

0

0~1.0

loader.input.field.separator

默认的输入字段分割符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分割符,则以此处的默认分割符为准。

,

-

loader.input.line.separator

默认的输入行分割符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分割符,则以此处的默认分割符为准。

-

-

loader.output.field.separator

默认的输出字段分割符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分割符,则以此处的默认分割符为准。

,

-

loader.output.line.separator

Loader输出数据的行分隔符。

-

-

  • 由于容错率的统计需要时间,为保证使用效果,建议在作业运行时间在2分钟以上时使用“loader.fault.tolerance.rate”参数。
  • 此处参数设置的为Loader全局的默认分割符,如果作业的转换步骤中配置了分割符,则以转换步骤为准,转换步骤中没有配置分割符则以此处的默认分割符为准。