新建集群Kudu服务异常处理

查看Kudu服务异常日志

1. 登录MRS管理控制台。
2. 单击集群名称进入集群详情页面。
3. 选择“组件管理 > Kudu > 实例”，找到异常实例所属的IP。

   若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。

4. 登录异常实例IP所在节点，查看Kudu日志。

   cd /var/log/Bigdata/Kudu
   [root@node-master1AERu kudu]# ls
   healthchecklog  runninglog  startlog

   其中healthchecklog 目录保存Kudu健康检查日志， startlog保存启动日志，runninglog保存Kudu进程运行日志。

   [root@node-master1AERu logs]# pwd
   /var/log/Bigdata/kudu/runninglog/master/logs
   [root@node-master1AERu logs]# ls -al
   kudu-master.ERROR   kudu-master.INFO   kudu-master.WARNING

   运行日志分ERROR, INFO, WARNING三类, 每类会单独打印到相应的文件中，通过cat命令即可查看。

已知Kudu服务异常处理

"Unable to init master catalog manager: not found: Unable to initialize catalog manager: Failed to initialize sys tables async: Unable to load consensus metadata for tablet 0000000000000000000000: xxx"

如果该异常是Kudu 服务初次安装时出现，可能是KuduMaster没能同时启动，造成数据不一样导致启动失败。可以通过如下步骤清空数据目录，重启Kudu服务解决。若非初次安装，清空数据目录会造成数据丢失，请先进行数据迁移再进行数据目录清空操作慎重操作。

1. 查找数据目录 fs_data_dir, fs_wal_dir, fs_meta_dir。

   find /opt -name master.gflagfile

   cat /opt/Bigdata/FusionInsight_Kudu_*/*_KuduMaster/etc/master.gflagfile | grep fs_

2. 在集群详情页面选择“组件管理 > Kudu”，单击“停止服务”。
3. 在所有KuduMaster, KuduTserver的节点清空 Kudu 数据目录，如下命令以两个数据盘为例，具体命令请以实际情况为准。

   rm -Rvf /srv/Bigdata/data1/kudu, rm -Rvf /srv/Bigdata/data2/kudu

4. 在集群详情页面选择“组件管理 > Kudu”，单击“更多 > 重启服务”。
5. 查看Kudu服务状态和日志。