查看调测结果
操作场景
MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。
- 通过运行结果查看程序运行情况。
- 登录MapReduce WebUI查看应用程序运行情况。
- 登录Yarn WebUI查看应用程序运行情况。
- 通过MapReduce日志获取应用程序运行情况。
请联系管理员获取具有访问WebUI权限的业务账号及其密码。
操作步骤
- 通过MapReduce服务的WebUI进行查看
使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 >服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
图1 JobHistory Web UI界面
- 通过YARN服务的WebUI进行查看
使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Yarn > ResourceManager(主)”进入Web界面后查看任务执行状态。图2 ResourceManager Web UI页面
- 查看MapReduce应用运行结果数据。
- 当用户在Linux环境下执行yarn jar MRTest-XXX.jar命令后,可以通过执行结果显示正在执行的应用的运行情况。例如:
linux1:/opt # yarn jar MRTest-XXX.jar /user/mapred/example/input/ /output6 16/02/24 15:45:40 INFO security.UserGroupInformation: Login successful for user admin@<系统域名> using keytab file user.keytab Login success!!!!!!!!!!!!!! 16/02/24 15:45:40 INFO hdfs.PeerCache: SocketCache disabled. 16/02/24 15:45:41 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token 28 for admin on ha-hdfs:hacluster 16/02/24 15:45:41 INFO security.TokenCache: Got dt for hdfs://hacluster; Kind: HDFS_DELEGATION_TOKEN, Service: ha-hdfs:hacluster, Ident: (HDFS_DELEGATION_TOKEN token 28 for admin) 16/02/24 15:45:41 INFO input.FileInputFormat: Total input files to process : 2 16/02/24 15:45:41 INFO mapreduce.JobSubmitter: number of splits:2 16/02/24 15:45:42 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1455853029114_0027 16/02/24 15:45:42 INFO mapreduce.JobSubmitter: Kind: HDFS_DELEGATION_TOKEN, Service: ha-hdfs:hacluster, Ident: (HDFS_DELEGATION_TOKEN token 28 for admin) 16/02/24 15:45:42 INFO impl.YarnClientImpl: Submitted application application_1455853029114_0027 16/02/24 15:45:42 INFO mapreduce.Job: The url to track the job: https://linux1:8090/proxy/application_1455853029114_0027/ 16/02/24 15:45:42 INFO mapreduce.Job: Running job: job_1455853029114_0027 16/02/24 15:45:50 INFO mapreduce.Job: Job job_1455853029114_0027 running in uber mode : false 16/02/24 15:45:50 INFO mapreduce.Job: map 0% reduce 0% 16/02/24 15:45:56 INFO mapreduce.Job: map 100% reduce 0% 16/02/24 15:46:03 INFO mapreduce.Job: map 100% reduce 100% 16/02/24 15:46:03 INFO mapreduce.Job: Job job_1455853029114_0027 completed successfully 16/02/24 15:46:03 INFO mapreduce.Job: Counters: 49
- 在Linux环境下执行yarn application -status <ApplicationID>,可以通过执行结果显示正在执行的应用的运行情况。例如:
linux1:/opt # yarn application -status application_1455853029114_0027 Application Report : Application-Id : application_1455853029114_0027 Application-Name : Collect Female Info Application-Type : MAPREDUCE User : admin Queue : default Start-Time : 1456299942302 Finish-Time : 1456299962343 Progress : 100% State : FINISHED Final-State : SUCCEEDED Tracking-URL : https://linux1:26014/jobhistory/job/job_1455853029114_0027 RPC Port : 27100 AM Host : SZV1000044726 Aggregate Resource Allocation : 114106 MB-seconds, 42 vcore-seconds Log Aggregation Status : SUCCEEDED Diagnostics : Application finished execution. Application Node Label Expression : <Not set> AM container Node Label Expression : <DEFAULT_PARTITION>
- 当用户在Linux环境下执行yarn jar MRTest-XXX.jar命令后,可以通过执行结果显示正在执行的应用的运行情况。例如:
- 查看MapReduce日志获取应用运行情况。
您可以查看MapReduce日志了解应用运行情况,并根据日志信息调整应用程序。