新建集群Kudu服务异常如何处理?
查看Kudu服务异常日志
- 登录MRS管理控制台。
- 单击集群名称进入集群详情页面。
- 选择“组件管理 > Kudu > 实例”,找到异常实例所属的IP。
如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
- 登录异常实例IP所在节点,查看Kudu日志。
cd /var/log/Bigdata/Kudu [root@node-master1AERu kudu]# ls healthchecklog runninglog startlog
其中healthchecklog目录保存Kudu健康检查日志,startlog保存启动日志,runninglog保存Kudu进程运行日志。[root@node-master1AERu logs]# pwd /var/log/Bigdata/kudu/runninglog/master/logs [root@node-master1AERu logs]# ls -al kudu-master.ERROR kudu-master.INFO kudu-master.WARNING
运行日志分ERROR、INFO、WARNING三类, 每类会单独打印到相应的文件中,通过cat命令即可查看。
已知Kudu服务异常处理
"Unable to init master catalog manager: not found: Unable to initialize catalog manager: Failed to initialize sys tables async: Unable to load consensus metadata for tablet 0000000000000000000000: xxx"
如果该异常是Kudu服务初次安装时出现,可能是KuduMaster没能同时启动,造成数据不一样导致启动失败。可以通过如下步骤清空数据目录,重启Kudu服务解决。如果非初次安装,清空数据目录会造成数据丢失,请先进行数据迁移再进行数据目录清空操作。
- 查找数据目录fs_data_dir, fs_wal_dir, fs_meta_dir。
find /opt -name master.gflagfile
cat /opt/Bigdata/FusionInsight_Kudu_*/*_KuduMaster/etc/master.gflagfile | grep fs_
- 在集群详情页面选择“组件管理 > Kudu”,单击“停止服务”。
- 在所有KuduMaster、KuduTserver的节点清空Kudu 数据目录,如下命令以两个数据盘为例,具体命令请以实际情况为准。
rm -Rvf /srv/Bigdata/data1/kudu, rm -Rvf /srv/Bigdata/data2/kudu
- 在集群详情页面选择“组件管理 > Kudu”,选择“更多 > 重启服务”。
- 查看Kudu服务状态和日志。
大数据业务开发 所有常见问题
- MRS是否支持同时运行多个Flume任务?
- 如何修改FlumeClient的日志为标准输出日志?
- Hadoop组件jar包位置和环境变量的位置在哪里?
- HBase支持的压缩算法有哪些?
- MRS是否支持通过Hive的HBase外表将数据写入到HBase?
- 如何查看HBase日志?
- HBase表如何设置和修改数据保留期?
- 如何通过happybase连接到MRS服务的HBase?
- 如何修改HDFS的副本数?
- 如何修改HDFS主备倒换类?
- DynamoDB的number在Hive表中用什么类型比较好?
- Hive Driver是否支持对接dbcp2?
- 用户A如何查看用户B创建的Hive表?
- Hive样例工程中的com.huawei.gaussc10依赖包在哪里下载?
- Hive查询数据是否支持导出?
- Hive使用beeline -e执行多条语句报错如何处理?
- 添加Hive服务后,提交hivesql/hivescript作业失败如何处理?
- Hue下载的Excel无法打开如何处理?
- Hue连接hiveserver,不释放session,报错over max user connections如何处理?
- 如何重置Kafka数据?
- Kafka目前支持的访问协议类型有哪些?
- 消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理?
- Kudu支持的压缩算法有哪些?
- 如何查看Kudu日志?
- 新建集群Kudu服务异常如何处理?
- MRS是否支持Python代码?
- OpenTSDB是否支持Python的接口?
- Presto如何配置其他数据源?
- MRS 1.9.3 Ranger证书如何更新?
- MRS如何连接spark-shell?
- MRS如何连接spark-beeline?
- Spark Job对应的运行日志保存在哪里?
- MRS的Storm集群提交任务时如何指定日志路径?
- 如何检查Yarn的ResourceManager配置是否正常?
- 如何修改Clickhouse服务的allow_drop_detached配置项?
- 执行Spark任务报内存不足告警如何处理?
- ClickHouse系统表日志过大,如何添加定期删除策略?
- 如何获取Spark Jar包?
- 修改hdfs-site.xml文件后未及时重启NameNode导致产生告警如何处理?
- SparkSQL访问Hive分区表启动Job前耗时较长如何处理?
- spark.yarn.executor.memoryOverhead设置不生效如何处理?
- 如何修改ClickHouse服务时区?
- 连接ClickHouse服务端异常报错“code: 516”如何处理?
more