查看Flink应用调测结果

操作场景

Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。

操作步骤

• 查看Flink应用运行结果数据。

  当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。

  当执行结果输出到文件或者其他，由Flink应用程序指定，您可以通过指定文件或其他获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例：

  • 查看Checkpoint结果和文件
    • 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面，选择“Jobs > Checkpoints”查看提交的作业如图1。选择“Task Managers > Stdout”查看运行结果如图2。
      图1 提交的作业
      
      图2 运行结果
      
    • 有两种方式查看Checkpoint文件。
      • 若将checkpoint的快照信息保存到HDFS，则通过执行hdfs dfs -ls hdfs://hacluster/flink/checkpoint/命令查看。
      • 若将checkpoint的快照信息保存到本地文件，则可直接登录到各个节点查看。
    • 查看Pipeline结果
      • 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面，选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task，选择“Stdout”查看该任务的输出结果如图5和图6。
        图3 提交的作业
        
        图4 提交的任务
        
        图5 Task1输出结果
        
        图6 Task2输出结果
        
    • 查看配置表与流JOIN结果
      • 结果在flink的“taskmanager.out”文件中，用户可以进入Yarn的WebUI页面，选择“Jobs > Completed Jobs”查看完成作业如图7。选择“Task Managers ”查看提交的任务如图8。单击该任务进入该任务详细信息页面，单击“Stdout”查看该任务的输出结果如图9。
        图7 运行完成的作业
        
        图8 提交的任务
        
        图9 输出结果
        
    • 查看DataStream结果
      • 结果在flink的“taskmanager.out”文件中，用户可以进入Yarn的WebUI页面，选择“Jobs > Completed Jobs”查看完成作业如图10。选择“Task Managers ”查看提交的任务如图11。单击该任务进入该任务详细信息页面，单击“Stdout”查看该任务的输出结果如图12。
        图10 运行完成的作业
        
        图11 提交的任务
        
        图12 运行结果
        
    • 查看Stream SQL Join结果
      • 结果在flink的“taskmanager.out”文件中，用户可以进入Yarn的WebUI页面，选择“Jobs > Running Jobs”查看运行的作业如图13。选择“Task Managers ”查看提交的任务如图14。单击该任务进入该任务详细信息页面，单击“Stdout”查看该任务的输出结果如图15。
        图13 运行的作业
        
        图14 提交的任务
        
        图15 运行结果
        
    • 查看向Kafka生产并消费数据结果
      • 结果在flink的“taskmanager.out”文件中，用户可以进入Yarn的WebUI页面，选择“Jobs > Running Jobs”查看运行的作业如图16。选择“Task Managers ”查看提交的任务如图17。单击该任务进入该任务详细信息页面，单击“Stdout”查看该任务的输出结果如图18。
        图16 运行的作业
        
        图17 提交的任务
        
        图18 运行结果
        
• 使用Flink Web页面查看Flink应用程序运行情况。

  Flink Web页面主要包括了Overview、Running Jobs、Completed Jobs、Task Managers、Job Manager和Logout等部分。

  在YARN的Web UI界面，查找到对应的Flink应用程序。单击应用信息的最后一列“ApplicationMaster”，即可进入Flink Web页面。

  查看程序执行的打印结果：找到对应的Task Manager，查看对应的Stdout标签日志信息。

• 查看Flink日志获取应用运行情况。
  有三种方式获取Flink日志，分别为通过Flink Web页面或者Yarn的日志。

  • Flink Web页面可以查看Task Managers、Job Manager部分的日志。

  • Yarn页面主要包括了Job Manager日志以及GC日志等。

    页面入口：在YARN的Web UI界面，查找到对应的Flink应用程序。单击应用信息的第一列ID，然后选择Logs列单击进去即可打开。

  • 使用Yarn客户端获取或查看Task Managers、Job Manager的日志，具体操作如下：
    1. 下载并安装Yarn客户端（例安装目录：/opt/client）。
    2. 以客户端安装用户，登录安装客户端的节点。
    3. 执行以下命令，切换到客户端安装目录。

       cd /opt/client

    4. 执行以下命令配置环境变量。

       source bigdata_env

    5. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。

       kinit 组件业务用户

    6. 执行以下命令，获取Flink集群container信息。

       yarn logs -applicationId application_* -show_application_log_info

       图19 获取Flink集群container信息
       
    7. 执行以下命令，获取指定container运行日志，通常container_*_000001为JobManager运行所在container。

       yarn logs -applicationId application_* --containerId container_1547547065745_0001_01_000004 -out logdir/

       图20 获取指定container运行日志
       

       上述命令会将container运行日志下载至本地，该日志包含了TaskManager/JobManager的运行日志，GC日志等信息。

    8. 还可以使用如下命令获取指定名称日志。

       获取container日志列表：

       yarn logs -applicationId application_* -show_container_log_info --containerId container_1547547065745_0001_01_000004

       图21 获取container日志列表
       

       下载指定日志taskmanager.log至本地：

       yarn logs -applicationId application_* --containerId container_1547547065745_0001_01_000004 -log_files taskmanager.log -out localpath