MRS 3.1.2-LTS.2补丁说明

MRS 3.1.2-LTS.2.14

2023-10-27

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

MRS Manager

• MRS客户端管理功能增强，客户端管理支持给客户端打补丁。
• MRS支持运维巡检通道。
• MRS服务集成StoreWorker/StoreMaster滚动重启，Manager新增滚动重启策略。

MRS 3.1.2-LTS.2.14修复问题列表：

• MRS Manager
  • 解决备oms节点上报fms资源异常告警的问题。
  • 解决扩容失败HOSTS_OS_PATCH_STATE表IP残留导致后续扩容失败的问题。
  • 解决CES监控和Yarn上监控对不上的问题。
  • 解决OMS频繁主备倒换的问题。
  • 解决查看指定时间段内主机资源概况，监控数据为空，查看失败的问题。
  • 解决磁盘监控指标计算不正确的问题。

• 大数据组件
  • 解决Yarn的ResourceManager频繁主备倒换的问题
  • 解决Yarn的NodeManager健康检查太敏感的问题
  • 解决Yarn健康检查误采集备节点健康状态，导致上报服务不可用告警的问题
  • 解决Ldapserver数据不同步的问题
  • 解决安装MRS 3.1.2-LTS.2.6补丁后Hive执行失败的问题
  • 解决HiveServer连接Guardian线程泄漏的问题
  • 解决Hive列值过长写入ORC文件失败的问题
  • 解决Hive异常任务失败（含失败、异常终止等状态）后临时文件清理较慢的问题
  • 解决Hive配置外置元数据，导致hive启动失败的问题
  • 解决Hive的hiveserver.out日志不压缩，导致/var/log/占满的问题
  • 解决Hive分区表增加字段时间长的问题
  • 解决rand函数在0-1直接的随机数字串只能生成0.72左右的问题
  • 解决Hive的WebHcat进程kill后，无法自拉起，无告警上报的问题
  • 解决Kafka在kerberos认证失败之后自动重启存在异常的问题
  • 解决Hudi和Spark目录下的Spring包不兼容的问题
  • 解决Zookeeper配置了配额仍然显示设置顶层配额失败的告警的问题
  • 解决老Guardian实例日志需要打印客户端IP的问题
  • 解决MemArtsCC使用TPCDS测试套写10TB数据，任务运行中，cc-sidecar不断重启的问题
  • 解决MemArtsCC裸机环境长稳运行中，cc-sidecar进程故障的问题
  • 解决存算分离场景下Spark作业失败时残留文件需要快速清理的问题
  • 解决Spark打印ERROR日志的问题
  • 解决Spark的JobHistory进程挂起，不自愈，且无告警上报的问题
  • 解决Spark开启推测执行加载分区为null的问题
  • 解决Spark的JDBCServer进程注入进程Z状态故障、故障注入期间进程不自愈、无进程异常告警、Spark任务已提交失败、无Spark应用不可用告警的问题
  • 解决Spark的JDBC进程kill后，7min自愈，且无告警上报，存在可靠性风险的问题
  • 解决Spark的JDBCServer进程挂起，进程不自愈，且无告警上报，spark应用提交失败的问题
  • 解决Spark停止JDBCServer实例无事件上报，JDBCServer.log里有上报事件失败的warn的问题
  • 解决安装2.10补丁之后Spring的包冲突导致部分Spark作业无法运行的问题
  • 解决Spark的JobHistory进程z状态后，进程异常消失，不自愈，且无告警上报，存在可靠性风险的问题
  • 解决Spark的JobHistory进程kill后，5min自愈，且无告警上报的问题
  • 解决Spark2x切换补丁未替换Spark服务端Jar包的问题
  • 解决Spark写入eventlog失败的问题

MRS 3.1.2-LTS.2.14补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。

MRS 3.1.2-LTS.2.12

2023-07-20

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

支持弹性伸缩到指定资源池

MRS 3.1.2-LTS.2.12修复问题列表：

大数据组件

解决[YARN-10854]，修复未配置include nodes文件路径时缩容后内存中节点数据残留问题

MRS 3.1.2-LTS.2.12补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。

MRS 3.1.2-LTS.2.11

2023-06-21

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

MRS租户面支持Yarn on CCE容器化部署

MRS 3.1.2-LTS.2.11补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。

MRS 3.1.2-LTS.2.10

2023-05-23

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

MRS 3.1.2-LTS.2.10修复问题列表：

大数据组件

解决重启Zookeeper节点后Hive SQL执行失败的问题

解决token renew失败的问题

MRS 3.1.2-LTS.2.10补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。

MRS 3.1.2-LTS.2.9

2023-04-30

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

• MRS Manager

  MRS客户端支持通过FI manager/公有云Console更新配置

• 大数据组件

  MRS支持对接lakeformation

  MemartCC支持统计缓存分片命中次数和驻留时间信息分布

MRS 3.1.2-LTS.2.9修复问题列表：

大数据组件

解决Spark任务执行失败，日志报错“assertion failed:shard->count == 0”问题

解决Hive使用beeline连接出现卡住无法连接问题

解决MemartsCC的cc-worker进程日志刷爆日志盘问题

解决MemartsCC的cc-sidecar反复重启问题

解决MemartsCC文件名超过256时，缓存文件写入失败问题

解决MemartsCC缓存从OBS读失败场景，缓存日志不打印requestID问题

解决MemartsCC开源软件高危问题

解决MemartsCC安全认证长时间未返回问题

MRS 3.1.2-LTS.2.9补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。

MRS 3.1.2-LTS.2.8

2023-03-08

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

• MRS Manager

  租户侧支持指标上报CES功能

  自动下载bms插件

• 大数据组件

  OBS故障感知增强，MRS能感知所有OBSA上报的异常

MRS 3.1.2-LTS.2.9修复问题列表：

• MRS Manager

  解决重装主机后hetu的worker启动不到该主机上的问题

  解决混搭集群，arm镜像证书与X86镜像证书不互信，导致作业提交到该arm节点上运行失败问题

  解决获取ECS的临时ak/sk失败告警帮助文档缺失问题

• 大数据组件

解决Hive snappy文件调用movefile加入_1后，文件内容出现乱码问题

解决Hive on MR合并不兼容ORC文件导致数据丢失问题

解决HBase RegionServer偶现重启问题

MRS 3.1.2-LTS.2.8补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。

MRS 3.1.2-LTS.2.6

2022-12-12

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

MRS 3.1.2-LTS.2.6 修复问题列表：

• 修复log4j漏洞(CVE-2021-44228)，log4j升级到2.17.2版本
• 包含MRS 3.1.2-LTS.2.2修复问题

MRS 3.1.2-LTS.2.6补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。

MRS 3.1.2-LTS.2.2

2022-10-31

MRS 3.1.2-LTS.2.2 修复问题列表：

• 解决Hive元数据库查询网络阻塞问题
• 解决MRS对接DCS做缓存，缓存键一天多次被清空问题
• 解决CBG访问OBS概率性无权限问题
• 解决长时间使用客户端出现死锁问题
• 解决Yarn运行偶现RM主备切换问题
• 解决Spark SQL外表动态分区执行insert overwrite报错问题
• 解决周期清理任务清理.hive-staging时，查询数据库失败问题
• 解决NameNode在大量删除操作的时候会出现RPC请求处理慢的问题
• 解决Hive配置Redis缓存频繁访问表key导致Redis热键问题
• 解决磁盘写速率和磁盘读速率两个指标无法正常上报问题
• 解决查看指定时间段内的资源概况，监控数据部分缺失问题
• 解决NameNode退服缓存残留问题
• 解决Metastore监控指标缺失问题
• 解决认证krb_test_user失败问题
• 解决Yarn所有业务中断，报错Timer already cancelled问题
• 解决实例配置页面无单位转换问题
• 解决相同AZ下，扩容的节点返回的AZ有误问题
• 解决[YARN-10854]问题
• Hive支持Redis缓存连接失败重试
• 支持OBSA客户端数据监控上报
• 支持OBS流控重试机制
• pms性能优化
• mrs-obs-provider的缓存过期优化
• 优化删除分区的逻辑
• Yarn的refresh node速度优化
• 删除无效告警

MRS 3.1.2-LTS.2.2补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。