更新时间:2024-05-11 GMT+08:00

如何在提交MapReduce任务时设置任务优先级

问题

如何在提交MapReduce任务时设置任务优先级?

回答

当您在客户端提交MapReduce任务时,可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下:

yarn jar <jar> [mainClass] -Dmapreduce.job.priority=<priority> [path1] [path2]

命令行中参数含义为:

  • <jar>:指定需要运行的jar包名称。
  • [mainClass]:指jar包应用工程中的类得main方法。
  • <priority>:指定任务的优先级,其取值可为:VERY_HIGH、HIGH、NORMAL、LOW、VERY_LOW。
  • [path1]:指数据输入路径。
  • [path2]:指数据输出路径。

例如,将“/opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar”包设置为高优先级任务。

yarn jar /opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar wordcount -Dmapreduce.job.priority=VERY_HIGH /DATA.txt /out/