查看MRS作业详情和日志

约束与限制

由于Spark SQL和Distcp作业在后台无日志，因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。

查看作业状态

1. 登录MRS管理控制台。
2. 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群概览信息页面。
3. 单击“作业管理”，即可查看当前MRS集群已创建的作业列表及状态。

   作业列表默认按提交时间顺序排列，各类作业列表参数说明如表1所示，可通过作业类型和作业状态快速筛选作业。

   表1 作业列表参数

   参数	参数说明
   作业名称/ID	作业的名称，新增作业时配置。 ID是作业的唯一标识，作业新增后系统自动赋值。
   用户名称	提交作业的用户名称。
   作业类型	作业类型。 在MRS集群“文件管理”页面进行文件的导入导出操作后，您可以在“作业管理”页面查看Distcp类型的作业详情。
   状态	显示作业的状态。 已提交：作业已提交。 已接受：作业提交成功后的初始状态。 运行中：作业执行过程中。 已完成：作业执行完成，并且执行成功。 已终止：作业执行过程中，停止执行。 异常：作业执行过程中报错，或者作业执行完成，但执行失败。
   执行结果	显示作业执行完成的结果。 未定：正在执行的作业。 成功：执行成功的作业。 终止：执行中被手动终止的作业。 失败：执行失败的作业。 作业执行成功或失败后都不能再次执行，只能重新添加作业。
   队列名称	提交作业用户绑定的资源队列的名称。
   作业提交时间	记录作业提交的开始时间。
   作业结束时间	记录作业执行完成或手工停止的时间。
   操作	对当前作业执行相关操作，请参考管理MRS集群作业。

通过管理控制台查看作业日志

1. 登录MRS管理控制台。
2. 选择“现有集群”，选中一个运行中的集群并单击集群名，进入集群基本信息页面。
3. 选择“作业管理”。
4. 在需要查看作业对应的“操作”列中，单击“更多 > 查看详情”。

   弹出“查看详情”窗口，显示该作业的配置信息。

5. 选择一个运行中的作业，在作业对应的“操作”列中，单击“查看日志”。

   弹出一个新页面，显示作业执行的实时日志信息。

   • 每个租户并发提交作业和查看日志的个数均为10。
   • 当选择保留作业日志到OBS或HDFS时，系统在作业执行结束后，将日志压缩并存储到对应路径。因此，此类作业运行结束后，作业状态仍然为“运行中”，需等日志存储成功后，状态变更为“已完成”。日志存储花费时间依赖于日志大小，需要数分钟以上。
   • 通过管理控制台或者API接口进行MRS集群内作业的创建、停止和删除等操作时，不会在“操作日志”处记录，如需查看相关日志信息，请通过云审计服务CTS进行查看。

通过Yarn WebUI查看作业日志

1. 登录MRS集群Manager界面。

   登录集群Manager界面请参考访问MRS集群Manager。

2. 选择“集群 > 服务 > Yarn”，单击“ResourceManager Web UI”右侧的超链接进入Yarn WebUI页面。
3. 在“All Applications”页面单击右上角的“Logout”，切换到具有Yarn管理员用户或提交作业的用户重新登录。

   创建Yarn管理员权限用户具体操作如下：

   1. 创建一个Yarn管理员权限的角色，具体请参考创建Yarn权限角色。
   2. 创建一个人机用户，并绑定3.a中新建的角色，具体请参考创建MRS集群用户。

      用户创建成功后，需要修改初始密码后才可以正常使用，可以使用该用户登录FusionInsight Manager，按照界面提示重置密码即可。

4. 在“All Applications”页面单击对应作业的Application ID，查看作业运行信息，单击“Logs”即可查看相关日志。
   图1 查看Yarn作业日志
   

5. 也可在客户端查看指定Yarn任务的日志。
   1. 以root用户登录集群客户端所在节点。
   2. 执行如下命令初始化环境变量。

      source 客户端安装目录/bigdata_env

   3. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户（具有Yarn管理员用户或提交作业的用户）。如果当前集群未启用Kerberos认证，则无需执行此命令。

      kinit MRS集群用户

   4. 执行以下命令获取指定任务的日志信息。

      yarn logs -applicationId 待查看作业的application_ID

相关文档

• 用户可以在管理控制台手动停止正在运行的MRS作业，或删除已运行完成的作业，具体操作请参见停止删除MRS集群作业。
• 如需克隆作业列表中的作业，具体操作请参见克隆MRS集群作业。
• 如需通过API方式查询作业列表信息，具体操作请参见查询作业列表信息。