MRS 1.5.1.4补丁说明

MRS 1.5.1.4

2018-08-23

Spark组件问题：

• 当carbon表元数据文件较大时导致的查询慢问题。

• 修复carbon在某些场景下，对数据进行压缩时，出现转换为SHORT_INT失败的问题。

• spark解析zlib时出错，出现java.io.IOException: unknown compression method的异常。
• 当用户数据增加到一定量后向carbon导入时出现executor崩溃。
• 在Yarn cluster模式下，当Spark程序客户端退出后，程序自动被停掉。
• 优化了当carbon表的segments很多时，执行delete语句慢的问题。
• 长时间运行的spark作业，执行spark SQL时出现GSS initiate failed错误。
• carbon表执行select操作时，报carbonindex文件找不到的错误。
• carbon表执行select操作时，由于tablestatues文件为空，报空指针异常的错误。
• carbon表执行select操作时，由于deletedelta文件为空，报空指针异常的错误。
• carbon表执行select操作时，由于并发操作导致tablestatues文件中有重复entry，报segment文件夹找不到的错误。

Kafka组件问题：

• MRS Manager上Kafka topic监控页面无数据。
• SparkStreaming使用的scala版本与Kafka组件不一致，导致spark访问kafka失败。
• SparkStreaming访问Kafka，只能读到一个分区。

HBase组件问题：

• HBase健康检查时，遇到非HBase问题引起的错误码与HBase本身的错误码有重合，导致误告警。
• 在MRS Manager界面上无法修改HBase服务端的部分配置文件（hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml），后台修改这些配置文件，再重启服务后也会被强制还原。
• 在MRS Manager界面上无法修改HBase的dfs.client.read.shortcircuit配置项。

Hadoop 组件问题：

• yarn资源本地化过程中下载了archives类型资源后自动解压目录可能被注入。
• YARN NodeManager上本地化资源文件及SPARK JobHistory历史文件未定时清理，导致磁盘爆满。
• 在Yarn的原生界面单击“Allocated Memory MB”排序时出现页面异常响应。

其他问题:

• 登录集群管理界面，点选租户管理，租户信息加载不出来。
• MRS扩容场景下的可靠性增强。
• 优化MRS Manager的部分UI显示。
• MRS安全集群创建角色时无法添加Hive组件权限。

包含1.5.1版本发布的所有补丁解决的问题。