更新时间:2024-08-01 GMT+08:00
分享

查看Loader作业历史信息

操作场景

该任务指导您在日常运维中,查看某个Loader作业的历史执行状态以及每次执行时长,同时提供该作业两种操作:

  • 脏数据:查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。
  • 日志:查看作业在MapReduce执行的日志信息。

本章节适用于MRS 3.x及后续版本。

前提条件

获取登录“Loader WebUI”的账户和密码。

操作步骤

  1. 登录“Loader WebUI”界面。

    1. 登录FusionInsight Manager系统,具体请参见访问集群Manager
    2. 选择“集群 > 服务 > Loader”。
    3. 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。
      图1 Loader WebUI界面

  2. 查看Loader作业的历史记录。

    1. 选择待查看的作业所在行。
    2. 如图所示,选择“更多>历史记录”查看作业执行的历史记录。
      图2 查看历史记录
      表1 参数说明

      名称

      说明

      行/文件 读取数

      从输入源中读取的行数(文件数)。

      行/文件 写入数

      写入到输出源的行数(文件数)。

      行/文件 跳过数

      • 转换过程中记录的坏行数(文件数):输入格式不正确,无法进行转换。
      • 转换过程中配置过滤条件后跳过的行数。

相关文档