如何在提交MapReduce任务时设置任务优先级

问题

如何在提交MapReduce任务时设置任务优先级？

回答

当您在客户端提交MapReduce任务时，可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下：

yarn jar <jar> [mainClass] -Dmapreduce.job.priority=<priority> [path1] [path2]

命令行中参数含义为：

• <jar>：指定需要运行的jar包名称。
• [mainClass]：指jar包应用工程中的类得main方法。
• <priority>：指定任务的优先级，其取值可为：VERY_HIGH、HIGH、NORMAL、LOW、VERY_LOW。

• [path1]：指数据输入路径。
• [path2]：指数据输出路径。

例如，将“/opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar”包设置为高优先级任务。

yarn jar /opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar wordcount -Dmapreduce.job.priority=VERY_HIGH /DATA.txt /out/