补丁号 | MRS 1.5.1.4 |
|---|
发布时间 | 2018-08-23 |
|---|
解决的问题 | Spark组件问题： - 当carbon表元数据文件较大时导致的查询慢问题。
- 修复carbon在某些场景下，对数据进行压缩时，出现转换为SHORT_INT失败的问题。
- spark解析zlib时出错，出现java.io.IOException: unknown compression method的异常。
- 当用户数据增加到一定量后向carbon导入时出现executor崩溃。
- 在Yarn cluster模式下，当Spark程序客户端退出后，程序自动被停掉。
- 优化了当carbon表的segments很多时，执行delete语句慢的问题。
- 长时间运行的spark作业，执行spark SQL时出现GSS initiate failed错误。
- carbon表执行select操作时，报carbonindex文件找不到的错误。
- carbon表执行select操作时，由于tablestatues文件为空，报空指针异常的错误。
- carbon表执行select操作时，由于deletedelta文件为空，报空指针异常的错误。
- carbon表执行select操作时，由于并发操作导致tablestatues文件中有重复entry，报segment文件夹找不到的错误。
|
|---|
Kafka组件问题： - MRS Manager上Kafka topic监控页面无数据。
- SparkStreaming使用的scala版本与Kafka组件不一致，导致spark访问kafka失败。
- SparkStreaming访问Kafka，只能读到一个分区。
|
HBase组件问题： - HBase健康检查时，遇到非HBase问题引起的错误码与HBase本身的错误码有重合，导致误告警。
- 在MRS Manager界面上无法修改HBase服务端的部分配置文件（hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml），后台修改这些配置文件，再重启服务后也会被强制还原。
- 在MRS Manager界面上无法修改HBase的dfs.client.read.shortcircuit配置项。
|
Hadoop 组件问题： - yarn资源本地化过程中下载了archives类型资源后自动解压目录可能被注入。
- YARN NodeManager上本地化资源文件及SPARK JobHistory历史文件未定时清理，导致磁盘爆满。
- 在Yarn的原生界面单击“Allocated Memory MB”排序时出现页面异常响应。
|
其他问题: - 登录集群管理界面，点选租户管理，租户信息加载不出来。
- MRS扩容场景下的可靠性增强。
- 优化MRS Manager的部分UI显示。
- MRS安全集群创建角色时无法添加Hive组件权限。
|
补丁兼容关系 | 包含1.5.1版本发布的所有补丁解决的问题。 |
|---|
