更新时间:2024-11-29 GMT+08:00

如何查看MRS作业日志?

  1. MRS Console页面作业管理,每一条作业支持查看日志,包含launcherJob日志和realJob日志。

    • launcherJob作业的日志,一般会在stderr和stdout中打印错误日志,如下图所示:

    • realJob的日志,可以通过MRS Manager中 Yarn服务提供的ResourceManager Web UI查看。

  2. 登录集群Master节点,可获取1作业的日志文件 ,具体hdfs路径为“/tmp/logs/{submit_user}/logs/{application_id}”。
  3. 提交作业后,在Yarn的WEB UI未找到对应作业的application_id,说明该作业没有提交成功,可登录集群主Master节点,查看提交作业进程日志“/var/log/executor/logs/exe.log”。