# MRS 3.1.2-LTS.2补丁说明 #### MRS 3.1.2-LTS.2.14补丁基本信息 | 补丁号 | MRS 3.1.2-LTS.2.14 | |---|---| | **发布时间** | 2023-10-27 | | **安装前处理** | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 | | **新特性和优化** | **MRS Manager** - MRS客户端管理功能增强，客户端管理支持给客户端打补丁。 - MRS支持运维巡检通道。 - MRS服务集成StoreWorker/StoreMaster滚动重启，Manager新增滚动重启策略。 | | **解决的问题** | **MRS 3.1.2-LTS.2.14修复问题列表：** - MRS Manager - 解决备oms节点上报fms资源异常告警的问题。 - 解决扩容失败HOSTS_OS_PATCH_STATE表IP残留导致后续扩容失败的问题。 - 解决CES监控和Yarn上监控对不上的问题。 - 解决OMS频繁主备倒换的问题。 - 解决查看指定时间段内主机资源概况，监控数据为空，查看失败的问题。 - 解决磁盘监控指标计算不正确的问题。 - 大数据组件 - 解决Yarn的ResourceManager频繁主备倒换的问题 - 解决Yarn的NodeManager健康检查太敏感的问题 - 解决Yarn健康检查误采集备节点健康状态，导致上报服务不可用告警的问题 - 解决Ldapserver数据不同步的问题 - 解决安装MRS 3.1.2-LTS.2.6补丁后Hive执行失败的问题 - 解决HiveServer连接Guardian线程泄漏的问题 - 解决Hive列值过长写入ORC文件失败的问题 - 解决Hive异常任务失败（含失败、异常终止等状态）后临时文件清理较慢的问题 - 解决Hive配置外置元数据，导致hive启动失败的问题 - 解决Hive的hiveserver.out日志不压缩，导致/var/log/占满的问题 - 解决Hive分区表增加字段时间长的问题 - 解决rand函数在0\~1之间的随机数字串只能生成0.72左右的问题 - 解决Hive的WebHcat进程kill后，无法自拉起，无告警上报的问题 - 解决Kafka在kerberos认证失败之后自动重启存在异常的问题 - 解决Hudi和Spark目录下的Spring包不兼容的问题 - 解决Zookeeper配置了配额仍然显示设置顶层配额失败的告警的问题 - 解决老Guardian实例日志需要打印客户端IP的问题 - 解决MemArtsCC使用TPCDS测试套写10TB数据，任务运行中，cc-sidecar不断重启的问题 - 解决MemArtsCC裸机环境长稳运行中，cc-sidecar进程故障的问题 - 解决存算分离场景下Spark作业失败时残留文件需要快速清理的问题 - 解决Spark打印ERROR日志的问题 - 解决Spark的JobHistory进程挂起，不自愈，且无告警上报的问题 - 解决Spark开启推测执行加载分区为null的问题 - 解决Spark的JDBCServer进程注入进程Z状态故障、故障注入期间进程不自愈、无进程异常告警、Spark任务已提交失败、无Spark应用不可用告警的问题 - 解决Spark的JDBC进程kill后，7min自愈，且无告警上报，存在可靠性风险的问题 - 解决Spark的JDBCServer进程挂起，进程不自愈，且无告警上报，spark应用提交失败的问题 - 解决Spark停止JDBCServer实例无事件上报，JDBCServer.log里有上报事件失败的warn的问题 - 解决安装2.10补丁之后Spring的包冲突导致部分Spark作业无法运行的问题 - 解决Spark的JobHistory进程z状态后，进程异常消失，不自愈，且无告警上报，存在可靠性风险的问题 - 解决Spark的JobHistory进程kill后，5min自愈，且无告警上报的问题 - 解决Spark2x切换补丁未替换Spark服务端Jar包的问题 - 解决Spark写入eventlog失败的问题 | | **补丁兼容关系** | MRS 3.1.2-LTS.2.14补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。 | #### MRS 3.1.2-LTS.2.12补丁基本信息 | 补丁号 | MRS 3.1.2-LTS.2.12 | |---|---| | **发布时间** | 2023-07-20 | | **安装前处理** | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 | | **新特性和优化** | 支持弹性伸缩到指定资源池 | | **解决的问题** | **MRS 3.1.2-LTS.2.12修复问题列表：** 大数据组件 解决\[YARN-10854\]，修复未配置include nodes文件路径时缩容后内存中节点数据残留问题 | | **补丁兼容关系** | MRS 3.1.2-LTS.2.12补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。 | #### MRS 3.1.2-LTS.2.11补丁基本信息 | 补丁号 | MRS 3.1.2-LTS.2.11 | |---|---| | **发布时间** | 2023-06-21 | | **安装前处理** | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 | | **新特性和优化** | MRS租户面支持Yarn on CCE容器化部署 | | **补丁兼容关系** | MRS 3.1.2-LTS.2.11补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。 | #### MRS 3.1.2-LTS.2.10补丁基本信息 | 补丁号 | MRS 3.1.2-LTS.2.10 | |---|---| | **发布时间** | 2023-05-23 | | **安装前处理** | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 | | **解决的问题** | **MRS 3.1.2-LTS.2.10修复问题列表：** 大数据组件 解决重启Zookeeper节点后Hive SQL执行失败的问题 解决token renew失败的问题 | | **补丁兼容关系** | MRS 3.1.2-LTS.2.10补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。 | #### MRS 3.1.2-LTS.2.9补丁基本信息 表1补丁基本信息 | 补丁号 | MRS 3.1.2-LTS.2.9 | |---|---| | **发布时间** | 2023-04-30 | | **安装前处理** | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 | | **新特性和优化** | - **MRS Manager** MRS客户端支持通过FI manager/公有云Console更新配置 - **大数据组件** MRS支持对接LakeFormation MemArtsCC支持统计缓存分片命中次数和驻留时间信息分布 | | **解决的问题** | **MRS 3.1.2-LTS.2.9修复问题列表：** 大数据组件 解决Spark任务执行失败，日志报错"assertion failed:shard-\>count == 0"问题 解决Hive使用beeline连接出现卡住无法连接问题 解决MemartsCC的cc-worker进程日志刷爆日志盘问题 解决MemartsCC的cc-sidecar反复重启问题 解决MemartsCC文件名超过256时，缓存文件写入失败问题 解决MemartsCC缓存从OBS读失败场景，缓存日志不打印requestID问题 解决MemartsCC开源软件高危问题 解决MemartsCC安全认证长时间未返回问题 | | **补丁兼容关系** | MRS 3.1.2-LTS.2.9补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。 | #### MRS 3.1.2-LTS.2.8补丁基本信息 表2补丁基本信息 | 补丁号 | MRS 3.1.2-LTS.2.8 | |---|---| | **发布时间** | 2023-03-08 | | **安装前处理** | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 | | **新特性和优化** | - **MRS Manager** 租户侧支持指标上报CES功能 自动下载bms插件 - **大数据组件** OBS故障感知增强，MRS能感知所有OBSA上报的异常 | | **解决的问题** | **MRS 3.1.2-LTS.2.9修复问题列表：** - **MRS Manager** 解决重装主机后hetu的worker启动不到该主机上的问题 解决混搭集群，arm镜像证书与X86镜像证书不互信，导致作业提交到该arm节点上运行失败问题 解决获取ECS的临时ak/sk失败告警帮助文档缺失问题 - 大数据组件 解决Hive **snappy文件调用movefile加入_1后，文件内容出现乱码**问题 解决Hive on MR合并不兼容ORC文件导致数据丢失问题 解决HBase RegionServer偶现重启问题 | | **补丁兼容关系** | MRS 3.1.2-LTS.2.8补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。 | #### MRS 3.1.2-LTS.2.6补丁基本信息 表3补丁基本信息 | 补丁号 | MRS 3.1.2-LTS.2.6 | |---|---| | **发布时间** | 2022-12-12 | | **安装前处理** | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 | | **解决的问题** | **MRS 3.1.2-LTS.2.6 修复问题列表：** - 修复log4j漏洞(CVE-2021-44228)，log4j升级到2.17.2版本 - 包含MRS 3.1.2-LTS.2.2修复问题 | | **补丁兼容关系** | MRS 3.1.2-LTS.2.6补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。 | #### MRS 3.1.2-LTS.2.2补丁基本信息 表4补丁基本信息 | 补丁号 | MRS 3.1.2-LTS.2.2 | |---|---| | **发布时间** | 2022-10-31 | | **解决的问题** | **MRS 3.1.2-LTS.2.2 修复问题列表：** - 解决Hive元数据库查询网络阻塞问题 - 解决MRS对接DCS做缓存，缓存键一天多次被清空问题 - 解决CBG访问OBS概率性无权限问题 - 解决长时间使用客户端出现死锁问题 - 解决Yarn运行偶现RM主备切换问题 - 解决Spark SQL外表动态分区执行insert overwrite报错问题 - 解决周期清理任务清理.hive-staging时，查询数据库失败问题 - 解决NameNode在大量删除操作的时候会出现RPC请求处理慢的问题 - 解决Hive配置Redis缓存频繁访问表key导致Redis热键问题 - 解决磁盘写速率和磁盘读速率两个指标无法正常上报问题 - 解决查看指定时间段内的资源概况，监控数据部分缺失问题 - 解决NameNode退服缓存残留问题 - 解决Metastore监控指标缺失问题 - 解决认证krb_test_user失败问题 - 解决Yarn所有业务中断，报错Timer already cancelled问题 - 解决实例配置页面无单位转换问题 - 解决相同AZ下，扩容的节点返回的AZ有误问题 - 解决\[YARN-10854\]问题 - Hive支持Redis缓存连接失败重试 - 支持OBSA客户端数据监控上报 - 支持OBS流控重试机制 - pms性能优化 - mrs-obs-provider的缓存过期优化 - 优化删除分区的逻辑 - Yarn的refresh node速度优化 - 删除无效告警 | | **补丁兼容关系** | MRS 3.1.2-LTS.2.2补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。 | #### 安装补丁的影响 - MRS 3.1.2-LTS.2.6补丁安装后，目录"/srv/BigData/data1/nm/localdir/filecache/"下的log4j旧版本的包，需要重新提交相关的yarn作业，才会加载新的log4j的包。 - MRS 3.1.2-LTS.2版本的补丁安装过程中会自动重启OMS，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装。 - MRS 3.1.2-LTS.2版本的补丁安装完成后需要在FusionInsight Manager Web界面重启Flink、Hadoop、HBase、HDFS、Hive、MapReduce、Meta、Spark2x、Ranger和Yarn服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。 - MRS 3.1.2-LTS.2.14补丁安装后，如出现客户端补丁包生成异常的提示，可按如下步骤执行重新生成客户端补丁包： 1. 登录集群OMS主节点。 2. 切换omm用户。 **su - omm** 3. 登录MRS管理控制台页面，选择"现有集群"，在集群列表中单击指定的集群名称，然后单击补丁管理，进入补丁信息界面，确定当前安装的最新补丁版本号，执行脚本： sh /opt/Bigdata/patches/{补丁版本号}/generate_client_patch.sh 4. 如看到"generate client patch success"打印，则说明生成补丁包成功，如出现ERROR打印，则说明生成失败，可参考步骤[4.a]定位。 1. 查看日志 /opt/Bigdata/patches/log/generate_client_patch.log 具体定位失败原因。