查看Flink应用调测结果

操作场景

Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。

操作步骤

查看Flink应用运行结果数据。
当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。

当执行结果输出到文件或者其他，由Flink应用程序指定，您可以通过指定文件或其他获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例：
查看Checkpoint结果和文件
- 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面，选择“Jobs > Checkpoints”查看提交的作业如图1。选择“Task Managers > Stdout”查看运行结果如图2。
  图1 提交的作业
  
   图2 运行结果
- 通过执行hdfs dfs -ls hdfs://hacluster/flink/checkpoint/命令查看HDFS上的checkpoint的快照信息。
- 查看Pipeline结果
  - 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面，选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task，选择“Stdout”查看该任务的输出结果如图5和图6。
    图3 提交的作业
    
     图4 提交的任务
    
     图5 Task1输出结果
    
     图6 Task2输出结果
- 查看DataStream结果
  - 结果在flink的“taskmanager.out”文件中，用户可以进入Yarn的WebUI页面，选择“Jobs > Completed Jobs”查看完成作业如图7。选择“Task Managers ”查看提交的任务如图8。单击该任务进入该任务详细信息页面，单击“Stdout”查看该任务的输出结果如图9。
    图7 运行完成的作业
    
     图8 提交的任务
    
     图9 运行结果
- 查看Stream SQL Join结果
  - 结果在flink的“taskmanager.out”文件中，用户可以进入Yarn的WebUI页面，选择“Jobs > Running Jobs”查看运行的作业如图10。选择“Task Managers ”查看提交的任务如图11。单击该任务进入该任务详细信息页面，单击“Stdout”查看该任务的输出结果如图12。
    图10 运行的作业
    
     图11 提交的任务
    
     图12 运行结果
- 查看向Kafka生产并消费数据结果
  - 结果在flink的“taskmanager.out”文件中，用户可以进入Yarn的WebUI页面，选择“Jobs > Running Jobs”查看运行的作业如图13。选择“Task Managers ”查看提交的任务如图14。单击该任务进入该任务详细信息页面，单击“Stdout”查看该任务的输出结果如图15。
    图13 运行的作业
    
     图14 提交的任务
    
     图15 运行结果
使用Flink Web页面查看Flink应用程序运行情况。
Flink Web页面主要包括了Overview、Running Jobs、Completed Jobs、Task Managers、Job Manager和Logout等部分。

在YARN的Web UI界面，查找到对应的Flink应用程序。单击应用信息的最后一列“ApplicationMaster”，即可进入Flink Web页面

查看程序执行的打印结果：找到对应的Task Manager，查看对应的Stdout标签日志信息。
查看Flink日志获取应用运行情况。
有三种方式获取Flink日志，分别为通过Flink Web页面或者Yarn的日志
- Flink Web页面可以查看Task Managers、Job Manager部分的日志。
- Yarn页面主要包括了Job Manager日志以及GC日志等。
  页面入口：在YARN的Web UI界面，查找到对应的Flink应用程序。单击应用信息的第一列ID，然后选择Logs列单击进去即可打开。
- 使用Yarn客户端获取或查看Task Managers、Job Manager的日志，具体操作如下：
  1. 下载并安装Yarn客户端（例安装目录：/opt/client）。
  2. 以客户端安装用户，登录安装客户端的节点。
  3. 执行以下命令，切换到客户端安装目录。
    cd /opt/client
  4. 执行以下命令配置环境变量。
    source bigdata_env
  5. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。
    kinit 组件业务用户
  6. 执行以下命令，获取Flink集群container信息。
    yarn logs -applicationId application_* -show_application_log_info
  7. 执行以下命令，获取指定container运行日志，通常container_*_000001为JobManager运行所在container。
    yarn logs -applicationId application_* --containerId container_1547547065745_0001_01_000004 -out logdir/
    
    上述命令会将container运行日志下载至本地，该日志包含了TaskManager/JobManager的运行日志，GC日志等信息。
  8. 还可以使用如下命令获取指定名称日志。
    获取container日志列表：
    
    yarn logs -applicationId application_* -show_container_log_info --containerId container_1547547065745_0001_01_000004
    
    下载指定日志taskmanager.log至本地：
    
    yarn logs -applicationId application_* --containerId container_1547547065745_0001_01_000004 -log_files taskmanager.log -out localpath