文档首页> MapReduce服务 MRS> 常见问题> 大数据业务开发> 新建集群Kudu服务异常如何处理?
更新时间:2024-04-01 GMT+08:00
分享

新建集群Kudu服务异常如何处理?

查看Kudu服务异常日志

  1. 登录MRS管理控制台。
  2. 单击集群名称进入集群详情页面。
  3. 选择“组件管理 > Kudu > 实例”,找到异常实例所属的IP。

    如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。

  4. 登录异常实例IP所在节点,查看Kudu日志。
    cd /var/log/Bigdata/Kudu
    [root@node-master1AERu kudu]# ls
    healthchecklog  runninglog  startlog
    其中healthchecklog目录保存Kudu健康检查日志,startlog保存启动日志,runninglog保存Kudu进程运行日志。
    [root@node-master1AERu logs]# pwd
    /var/log/Bigdata/kudu/runninglog/master/logs
    [root@node-master1AERu logs]# ls -al
    kudu-master.ERROR   kudu-master.INFO   kudu-master.WARNING

    运行日志分ERROR、INFO、WARNING三类, 每类会单独打印到相应的文件中,通过cat命令即可查看。

已知Kudu服务异常处理

日志/var/log/Bigdata/kudu/runninglog/master/logs/kudu-master.INFO出现异常打印:
"Unable to init master catalog manager: not found: Unable to initialize catalog manager: Failed to initialize sys tables async: Unable to load consensus metadata for tablet 0000000000000000000000: xxx"

如果该异常是Kudu服务初次安装时出现,可能是KuduMaster没能同时启动,造成数据不一样导致启动失败。可以通过如下步骤清空数据目录,重启Kudu服务解决。如果非初次安装,清空数据目录会造成数据丢失,请先进行数据迁移再进行数据目录清空操作。

  1. 查找数据目录fs_data_dir, fs_wal_dir, fs_meta_dir。

    find /opt -name master.gflagfile

    cat /opt/Bigdata/FusionInsight_Kudu_*/*_KuduMaster/etc/master.gflagfile | grep fs_

  2. 在集群详情页面选择“组件管理 > Kudu”,单击“停止服务”。
  3. 在所有KuduMaster、KuduTserver的节点清空Kudu 数据目录,如下命令以两个数据盘为例,具体命令请以实际情况为准。

    rm -Rvf /srv/Bigdata/data1/kudu, rm -Rvf /srv/Bigdata/data2/kudu

  4. 在集群详情页面选择“组件管理 > Kudu”,选择“更多 > 重启服务”。
  5. 查看Kudu服务状态和日志。
分享:

大数据业务开发 所有常见问题

more