更新时间:2022-05-19 GMT+08:00
分享

MRS 1.5.1.4补丁说明

补丁基本信息

表1 补丁基本信息

补丁号

MRS 1.5.1.4

发布时间

2018-08-23

解决的问题

Spark组件问题:

  • 当carbon表元数据文件较大时导致的查询慢问题。
  • 修复carbon在某些场景下,对数据进行压缩时,出现转换为SHORT_INT失败的问题。
  • spark解析zlib时出错,出现java.io.IOException: unknown compression method的异常。
  • 当用户数据增加到一定量后向carbon导入时出现executor崩溃。
  • 在Yarn cluster模式下,当Spark程序客户端退出后,程序自动被停掉。
  • 优化了当carbon表的segments很多时,执行delete语句慢的问题。
  • 长时间运行的spark作业,执行spark SQL时出现GSS initiate failed错误。
  • carbon表执行select操作时,报carbonindex文件找不到的错误。
  • carbon表执行select操作时,由于tablestatues文件为空,报空指针异常的错误。
  • carbon表执行select操作时,由于deletedelta文件为空,报空指针异常的错误。
  • carbon表执行select操作时,由于并发操作导致tablestatues文件中有重复entry,报segment文件夹找不到的错误。

Kafka组件问题

  • MRS Manager上Kafka topic监控页面无数据。
  • SparkStreaming使用的scala版本与Kafka组件不一致,导致spark访问kafka失败。
  • SparkStreaming访问Kafka,只能读到一个分区。

HBase组件问题

  • HBase健康检查时,遇到非HBase问题引起的错误码与HBase本身的错误码有重合,导致误告警。
  • 在MRS Manager界面上无法修改HBase服务端的部分配置文件(hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml),后台修改这些配置文件,再重启服务后也会被强制还原。
  • 在MRS Manager界面上无法修改HBase的dfs.client.read.shortcircuit配置项。

Hadoop 组件问题

  • yarn资源本地化过程中下载了archives类型资源后自动解压目录可能被注入。
  • YARN NodeManager上本地化资源文件及SPARK JobHistory历史文件未定时清理,导致磁盘爆满。
  • 在Yarn的原生界面单击“Allocated Memory MB”排序时出现页面异常响应。

其他问题:

  • 登录集群管理界面,点选租户管理,租户信息加载不出来。
  • MRS扩容场景下的可靠性增强。
  • 优化MRS Manager的部分UI显示。
  • MRS安全集群创建角色时无法添加Hive组件权限。

补丁兼容关系

包含1.5.1版本发布的所有补丁解决的问题。

安装补丁的影响

  • 重新安装客户端前建议先对老客户端进行备份。
  • 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。
分享:

    相关文档

    相关产品

close