新建集群Kudu服务异常如何处理?
查看Kudu服务异常日志
- 登录MRS管理控制台。
- 单击集群名称进入集群详情页面。
- 选择“组件管理 > Kudu > 实例”,找到异常实例所属的IP。
如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
- 登录异常实例IP所在节点,查看Kudu日志。
cd /var/log/Bigdata/Kudu [root@node-master1AERu kudu]# ls healthchecklog runninglog startlog
其中healthchecklog目录保存Kudu健康检查日志,startlog保存启动日志,runninglog保存Kudu进程运行日志。[root@node-master1AERu logs]# pwd /var/log/Bigdata/kudu/runninglog/master/logs [root@node-master1AERu logs]# ls -al kudu-master.ERROR kudu-master.INFO kudu-master.WARNING
运行日志分ERROR、INFO、WARNING三类,每类会单独打印到相应的文件中,通过cat命令即可查看。
已知Kudu服务异常处理
"Unable to init master catalog manager: not found: Unable to initialize catalog manager: Failed to initialize sys tables async: Unable to load consensus metadata for tablet 0000000000000000000000: xxx"
如果该异常是Kudu服务初次安装时出现,可能是KuduMaster没能同时启动,造成数据不一样导致启动失败。可以通过如下步骤清空数据目录,重启Kudu服务解决。如果非初次安装,清空数据目录会造成数据丢失,请先进行数据迁移再进行数据目录清空操作。
- 查找数据目录fs_data_dir, fs_wal_dir, fs_meta_dir。
find /opt -name master.gflagfile
cat /opt/Bigdata/FusionInsight_Kudu_*/*_KuduMaster/etc/master.gflagfile | grep fs_
- 在集群详情页面选择“组件管理 > Kudu”,单击“停止服务”。
- 在所有KuduMaster、KuduTserver的节点清空Kudu 数据目录,如下命令以两个数据盘为例,具体命令请以实际情况为准。
rm -Rvf /srv/Bigdata/data1/kudu, rm -Rvf /srv/Bigdata/data2/kudu
- 在集群详情页面选择“组件管理 > Kudu”,选择“更多 > 重启服务”。
- 查看Kudu服务状态和日志。