
# MRS 3.2.0-LTS.1补丁说明
#### MRS 3.2.0-LTS.1.7补丁基本信息
表1补丁基本信息 
|     补丁号     |                                                                                                                                           MRS 3.2.0-LTS.1.7                                                                                                                                            |
|---|---|
| **发布时间**    | 2024-02-21                                                                                                                                                                                                                                                                                             |
| **安装前处理**   | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。                                                                                                                                                                                                                                                                  |
| **解决的问题**   | MRS 3.2.0-LTS.1.7修复问题列表： - 解决Spark子查询当做列字段执行SQL任务时Ranger鉴权报错。  - 解决Flink写Hudi失败时，作业从checkpoint恢复失败的问题。   |
| **补丁兼容关系**  | MRS 3.2.0-LTS.1.7补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。                                                                                                                                                                                                                                                    |
| **安装补丁的影响** | 请参考[安装补丁的影响]。                                                                                                                                                                                                                                                   |
   
#### MRS 3.2.0-LTS.1.6补丁基本信息
表2补丁基本信息 
|     补丁号     |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          MRS 3.2.0-LTS.1.6                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
|---|---|
| **发布时间**    | 2024-02-04                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
| **安装前处理**   | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
| **新特性**     | - CDL支持表字段大写。  - Flink写网易DDB时支持指定拆分键。  - Flink支持upsert Kafka监控数据写入influxdb。  - Flink流读Hudi支持消息滞留时间、消息堆积时间监控。  - Flink支持ignoreDelete特性。  - Yarn NodeManager支持优雅退服。  - Kafka支持数据加密。  - Spark支持子查询字段不带聚合函数语法（设置spark.sql.legacy.correlated.scalar.query.enabled参数值为true）。  - Spark支持视图表权限控制（在JDBCserver的自定义custom参数添加spark.ranger.plugin.viewaccesscontrol.enable值为true；添加参数。spark.ranger.plugin.viewaccesscontrol.enable=true到客户端目录下Spark2x/spark/conf/spark-defaults.conf 配置文件中；重启JDBCserver实例）。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
| **解决的问题**   | MRS 3.2.0-LTS.1.6修复问题列表： - 解决CDL作业增加start time参数造成Hudi表中没有写入数据的问题。  - 解决CDL重启作业不能结束残留connector线程的问题。  - 解决Clickhouse balance的error日志不回滚问题。  - 解决ClickHouse数据入库慢的问题。  - 解决ClickHouse TTL未生效的问题。  - 解决ClickHouse、Zookeeper连接过多导致Hive客户端无法连接的问题。  - 解决ClickHouse物化视图的基表中添加列报OOM的问题。  - Executor将作业老化顺序优化为根据作业结束时间老化。  - 解决FlinkUI上传的UDF不修改包名导致UDF更新失败的问题。  - 解决Flink上传UDF后UI分页显示异常的问题。  - 解决Flink流读Hudi数据时间显示会少8小时的问题。  - 解决使用FlinkServer创建SASL_SSL认证的kafka连接，执行报错的问题。  - 解决Flink对接Guardian启用OBS，Flink作业重启偶现重启失败的问题。  - 解决DataArts Studio提交作业无法正常重试从Checkpoint恢复的问题。  - 解决使用FlinkServer提交作业时，显示提交失败，但是Yarn上作业是RUNNING的问题。  - 解决DataArts Studio提交Flink-SQL作业报StackOverFlow错误的问题。  - 优化Flink security.ssl.encrypt.enabled参数值为TRUE，而不能修改，影响任务启动速度的问题。  - 解决DataArts Studio失败重试执行作业存在作业从头消费而不是从Checkpoint启动的问题。  - 解决普通集群使用RESTAPI调用FlinkServer的jobs/action时报错。  - 解决Flink jar包写ClickHouse作业无法提交的问题。  - 解决Flink Join状态剔除的hint参数功能不生效的问题。  - 解决Flink作业报错信息不准确，日志显示的错误行数与作业SQL错误行数不一致的问题。  - 解决Flink流读Hudi当表写入数据时作业失败，写Hudi作业提交运行失败的问题。  - 解决Flinkserver SQL校验失败的问题。  - 解决Flink客户端不支持-yD或-D配置keytab和principal的问题。  - 解决Flink算子chain打开时sink算子出现异常被source算子捕获，作业tm不失败的问题。  - 解决MRS实时任务告警通知不显示具体作业名称的问题。  - 解决Flume自定义时间拦截器未生效的问题。  - 解决弹性伸缩时偶现的启动NodeManager失败导致的单节点扩容失败的问题。  - 解决安全模式下，不能使用HDFS用户下发Balance均衡任务的问题。  - 解决Yarn资源池可用资源指标异常，导致弹性伸缩触发异常。  - 解决NodeManager节点磁盘打满故障，导致资源池成员迁移到默认资源池。  - 解决Dead DataNode数量超过阈值告警不会自动清除的问题。  - 解决HBase健康检查脚本调用超时导致上报服务不可用误告警。  - 解决HetuEngine alter添加列后，insert数据时旧分区无数据问题。  - 解决HetuEngine、Flink写入数据时，compaction后HetuEngine概率读取RO表无数据的问题。  - 修复HDFS日志归集缺包问题。  - 解决HetuEngine使用HSFabric连接JDBC执行SQL失败。  - 解决Hive on tez overwrite分区表结果为空时会报错的问题。  - Hive集成DataAtrs元数据同步插件包。  - 解决配置Hive元数据最后访问时间后Hive作业频繁报错的问题。  - 解决Hive alter table test drop partition (分区\<'xxxx')；分批删除参数不生效的问题。  - 解决Hive JDBC连接拼接\&useSSL=false等参数不生效的问题。  - 解决高并发场景下hive on spark作业提交jar包超时导致作业失败的问题。  - 解决CDL写入Hudi表出现bucket桶id重复问题。  - 解决Hudi compaction比clean运行快导致数据无法读取的问题。  - 解决compaction任务失败残留了异常文件没有被清理，导致Spark读Hudi时报"xx is not a Parquet file"异常的问题。  - 解决Spark作业读上游读库表，executor报错找不到该表.schema目录下的文件的问题。  - Hudi compaction schedule优化，根据最后一次compaction action生成plan。  - Hudi默认保留5G归档后的压缩文件。  - Hudi OBS默认Clean不进回收站。  - Hudi archive归档更多的clean和rollback，减少元数据文件数。  - 解决Hudi Cow不执行Clean就无法触发归档的问题。  - 解决Hudi使用Spark生成批补表的数据时，表目录被删除的问题。  - 解决Hudi表大小写生成的namespace不一致，导致update失败的问题。  - Hudi新增call command清理无效元数据文件。  - 解决Hudi DELETE_EMPTY_INSTANT功能在异常场景导致有数据的instant被删掉的问题。  - 解决Flink append mode丢失数据问题。  - 历史数据默认保存30天超期后未清理的问题。  - 解决调整时区为UTC后Manager页面实时监控数据为空的问题。  - 解决Manager页面租户资源下的全局用户策略内容不分页的问题。  - Manager页面新增显示yarn on cce按钮。  - 解决新建集群通过专线访问Manager页面，需要手动修改Tomcat配置的问题。  - Manager对接运维页面。  - 解决MRS集群出现误告警的问题。  - 解决Manager跨越0点查询时，监控指标显示异常的问题。  - 解决Manager页面内核空间占用CPU百分比数值错误问题。  - 解决Manager页面主机线管监控页面切换到分布图后在切换时间段查看图标，图标的默认区间取值错误的问题。  - 解决主OMS的Gaussdb的进程占用内存较大的问题。  - 解决Manager组件自定义配置完后添加实例自定义配置没有显示的问题。  - 解决监控进程PMS一直重启的问题。  - 解决扩容节点，节点间互信失效告警误报问题。  - 解决Manager主备节点同步数据异常的问题。  - 解决Dead DataNode数量超过阈值告警不会自动清除的问题。  - Manager弹性扩缩容场景下上报的告警优化。  - Manager缩容场景下节点网络通信异常告警优化。  - 解决Controller重启上报服务不可用告警的问题。  - MRS Manager的管理员账号遗忘添加跳转支持文档。  - 集群配置Ranger元数据外置后RangeAdmin实例启动失败。  - 解决quit命令退出Spark客户端时报错的问题。  - 解决Spark偶现多租户模式下，driver端口与thriftserver端口冲突的问题。  - 解决空闲的SparkJDBC任务超过30分钟资源不释放的问题。  - 解决打开Zookeeper的ssl后提交Spark作业，连接Zookeeper失败，导致任务执行超时的问题。  - 解决Spark连接JDBCServer任务失败的问题。  - 解决Spark只给视图权限不给表的权限时，Hive可以查询视图，sparksql无法查询视图的问题。   |
| **补丁兼容关系**  | MRS 3.2.0-LTS.1.6补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
| **安装补丁的影响** | 请参考[安装补丁的影响]。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
   
#### MRS 3.2.0-LTS.1.5补丁基本信息
表3补丁基本信息 
|     补丁号     |                                                                                                                                                                                                                     MRS 3.2.0-LTS.1.5                                                                                                                                                                                                                     |
|---|---|
| **发布时间**    | 2023-10-23                                                                                                                                                                                                                                                                                                                                                                                                                                                |
| **安装前处理**   | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。                                                                                                                                                                                                                                                                                                                                                                                                                     |
| **新特性**     | - 支持在Hue WebUI中使用HetuEngine SQL编辑器。  - 运维巡检工具查询优化。  - Flink流读Hudi新增了对消息滞留时间和消息堆积时间的监控。                                                                                                                                  |
| **解决的问题**   | MRS 3.2.0-LTS.1.5修复问题列表： - 解决Spark-JDBC偶现多租户模式下，driver端口与thriftserver端口一致冲突引发一系列问题。  - 解决Spark空闲的SparkJDBC任务超过30分钟，没有结束，资源未释放浪费资源问题。  - 解决HetuEngine在存散分离场景下映射方式对接OBS，查询大数据量时报错的问题。   |
| **补丁兼容关系**  | MRS 3.2.0-LTS.1.5补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。                                                                                                                                                                                                                                                                                                                                                                                                       |
| **安装补丁的影响** | 请参考[安装补丁的影响]。                                                                                                                                                                                                                                                                                                                                                                                                      |
   
#### MRS 3.2.0-LTS.1.4补丁基本信息
表4补丁基本信息 
|     补丁号     |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      MRS 3.2.0-LTS.1.4                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
|---|---|
| **发布时间**    | 2023-10-16                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |
| **安装前处理**   | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
| **新特性**     | - 支持在Hue WebUI中使用HetuEngine SQL编辑器。  - 运维巡检工具查询优化。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
| **解决的问题**   | MRS 3.2.0-LTS.1.4修复问题列表： - 解决Flink读MySQL作业出现的类冲突问题。  - 解决Flink Server提交SQL作业时解码异常错误。  - 解决DataArts Studio提交Flink SQL作业报StackOverflow错误。  - 解决普通集群使用RestA调用FlinkServer的jobs/action时报错。  - 解决Flink客户端不支持-yD或-D配置keytab和principal的问题。  - 解决HetuEngine查询Flink写入的HudiMOR表数据为空的问题。  - 解决HetuEngine对Hudi的bucket索引mor表和mor_rt表查询失败问题。  - 解决HetuEngine查询Hive的LZ4压缩格式数据失败问题。  - 解决HetuEngine查询Hudi的OBS表失败问题。  - 解决HetuEngine多hashkey时，查询条件包含单个hashkey时，无法查出结果的问题。  - 解决Hudi数据源add columns/drop columns之后HetuEngine查询失败的问题。  - 解决Hudi在replacement场景下无法正常归档文件问题。  - 解决Hudi在InternalSchema转AvroSchema未去掉元字段导致流任务更新数据失败问题。  - 解决Hudi版本升级后出现Spark读Hudi表和run compaction失败问题。  - 解决Hudi SQL执行call run_clustering_Mor后，rt/ro表的log数据丢失问题。  - 解决Hudi ro表compaction期间数据查询不出来问题。  - 解决Hudi表带decimal字段做ddl变更，在执行clustering报错问题。  - 解决Hudi Cow/mor表执行完drop partition后，首次执行delete报堆栈异常的问题。  - 解决Hive on Tez查询Hudi的schema演进表报错，需要适配默认InputFormat切分方式问题。  - 解决Spark/Flink写Hudi表，控制归档文件大小的参数不生效的问题。  - 解决Hudi mor表，log中1900前的timestamp数据错误问题。  - 解决HetuEngine查询Hudi数据重复问题。  - 解决Manager中12小时以上监控数据无法导出的问题。  - 解决Manager中节点磁盘使用率和磁盘读速率无法显示一周数据的问题。  - 解决弹性伸缩场景下操作更新集群拓扑时，全表查询TBL_HISTORY_TOPOLOGY导致controller触发OOM问题。  - 解决弹性伸缩过程中出现Metaspace内存不足触发agent重启的问题。  - 解决弹性伸缩场景下OMA进程异常无法采集指标，导致扩缩容任务异常问题。  - 解决大集群中监控数据丢失问题。  - 解决Manager AD对接后同步用户失败问题。  - 解决集群配置Ranger元数据外置后RangerAdmin实例启动失败问题。  - 对接LakeFormation，policy sync同步策略失败整改。  - 解决Spark JDBC模式执行插入耗时过久的问题。  - 解决Hudi-Connector支持bucket裁剪性能优化问题。   |
| **补丁兼容关系**  | MRS 3.2.0-LTS.1.4补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
| **安装补丁的影响** | 请参考[安装补丁的影响]。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
   
 #### MRS 3.2.0-LTS.1.3补丁基本信息
表5补丁基本信息 
|     补丁号     |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             MRS 3.2.0-LTS.1.3                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
|---|---|
| **发布时间**    | 2023-08-04                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
| **安装前处理**   | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
| **新特性**     | - Manager支持指定节点进行退服入服  - MRS集群支持对接LakeFormation MRS对接LakeFormation操作指导，请参见：[配置MRS集群元数据存储至LakeFormation（开启Kerberos认证）](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24879.html)。   - Guardian新增开启accesslabel开关  - Guardian支持自定义文件生成器  - 支持添加RangerKMS实例，提供数据加密服务  - 管控面提交FlinkSQL作业支持元数据管理                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
| **解决的问题**   | MRS 3.2.0-LTS.1.3修复问题列表： - 解决Hudi修改long到string后run compaction，Spark读失败问题。  - 解决Hudi修改schedule后之前的commit文件被清理，spark compaction失败问题。  - 解决Hudi表有修改列名、删除重新添加列，只进行schedule，spark compaction失败问题。  - 解决Hudi增删改列后run compaction，cdl hudi2dws作业失败报空指针问题。  - 解决Hudi写log会从文件中读schema，log越大读取越慢，影响写入效率问题。  - 解决Hudi subtasks处理数据倾斜，导致300并发的场景下部分资源闲置问题。  - 解决Hudi stg_rtd_hah_ae_t_detail_t表异步compaction失败问题。  - 解决Flink指定COMPLEX创建的hudi表，spark写失败，报KeyGenerator冲突问题。  - 解决Flink提交作业错误提示问题。  - 解决Flink作业异常退出，同一个key的数据做分区变更报NPE的问题。  - 解决Flink作业读hudi log文件报错Did not find the magic bytes at the start of block的问题。  - 解决DataArts Studio作业配置后未从上一个checkpoint重启Flink的问题。  - 解决管控面提交Spark作业长时间运行后访问obs报403问题。  - 解决CDL appid刷新错误，任务显示失败，但实际是运行中的问题。  - 解决CDL Topic Creation失败，报Topic已存在的问题。  - 解决CDL单AZ断网场景，出现作业自动停止的问题。  - 解决CDL任务一直处于正常状态，历史任务id存在失败，仍然上报告警问题。  - 解决CDL单AZ断网后，作业失败，查看appid为空，但是在yarn页面查看任务实际是存在并运行中的问题。   |
| **补丁兼容关系**  | MRS 3.2.0-LTS.1.3补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
| **安装补丁的影响** | 请参考[安装补丁的影响]。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
   
#### MRS 3.2.0-LTS.1.2补丁基本信息
表6补丁基本信息 
|     补丁号     |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            MRS 3.2.0-LTS.1.2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
|---|---|
| **发布时间**    | 2023-05-10                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
| **安装前处理**   | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
| **解决的问题**   | MRS 3.2.0-LTS.1.2 修复问题列表： - 解决Manager无法创建带点字符用户问题。  - 解决IAM同步的用户组无法添加Manager页面上创建的用户问题。  - 解决夏令时时间下组件on obs功能不可用问题。  - 解决在Manager页面创建备份任务到obs时参数校验异常问题。  - 解决通过API接口提交Spark作业时的日志打印问题。  - 解决修改ClickHouse索引列导致进程重启问题。  - 解决在Manager页面租户管理中动态资源计划显示异常问题。  - 解决修改Clickhouse配置时创建的Zookeeper连接不释放问题。  - 解决在Manager页面ClickHouse组件修改角色添加数据库的create权限，导致已有表的自定义权限丢失问题。   |
| **补丁兼容关系**  | MRS 3.2.0-LTS.1.2补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
| **安装补丁的影响** | 请参考[安装补丁的影响]。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
   
#### MRS 3.2.0-LTS.1.1补丁基本信息
表7补丁基本信息 
|     补丁号     |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  MRS 3.2.0-LTS.1.1                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
|---|---|
| **发布时间**    | 2023-04-07                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
| **安装前处理**   | 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
| **解决的问题**   | MRS 3.2.0-LTS.1.1 修复问题列表： - 解决Hudi性能优化，增加优化参数控制同步Hive schema问题。  - 解决Hudi表包含decimal字段做ddl变更时，执行clustering报错问题。  - 解决MRS 3.1.2版本创建的hudi bucket索引表，在升级后compaction作业失败问题。  - 解决Table can not read correctly when computed column is in the midst问题。  - 解决Hudi的schema evolution和历史版本不兼容问题。  - 解决Flink无法读取低版本Spark用bulk insert方式写入的timestamp类型数据的精度问题。  - 解决mor表delete数据，下游Flink读任务失败问题。  - 解决Flink流写mor开启同步compaction，包含decimal列，Spark添加一列后重启作业，触发compaction执行失败问题。  - 解决Flink写mor表同时sparksql查询，当Flink触发clean后，Spark查询失败问题。  - 解决mor表有rollback，执行cleanData后Flink schedule生成计划，spark run compaction报空指针问题。  - 解决Flink进行批量作业时权限不足导致作业失败问题。  - 解决Flink指定timestamp读Kafka异常的问题。  - 解决Flink写历史版本创建的bucket索引hudi表，索引数据错乱重复fileid问题。  - 解决Flink On HBase当条件为null时，使用错误下推Filter导致漏数问题。  - 解决Flink on hudi解析的时间范围如果超过2262-04-11 23:47:16，则会解析失败，报错overflow问题。  - 解决Spark/Flink写Hudi表，控制归档文件大小的参数不生效问题。  - 解决Spark任务，有多个ddl语句(drop，truncate，create)长时间执行不结束问题。  - 解决Spark建mor表带timestamp，Flink流读数据有误，相差8h问题。  - 解决cow/mor表执行完drop partition后，首次执行delete报错，堆栈异常问题。  - 解决datasource写Hudi表名和同步的Hive表名不一致，写入失败，sql写location指定到一个存量cow表目录，表名不一致，insert成功的问题。  - CDL链路hudi-dws性能优化。  - 解决CDL升级后业务用户未添加hadoop组，任务启动失败问题。  - 解决CDL hudi-dws链路配置max.commit.number参数时，偶现同步数据丢失问题。  - 解决当CDL存在连接源端库失败的作业，task线程泄漏，导致作业启动超时问题。  - 解决CDL Hudi connector代码中增加hoodie.datasource.hive_sync.skip_sync_schema参数，默认为true，优化元数据同步性能，减少性能毛刺问题。  - 解决CDL读Hudi表出现404失败，找不到rollback.requested问题。  - 解决CDL Task阻塞导致所有任务Task失败问题。  - 解决Yarn的jdbcserver资源超长时间不释放问题。   |
| **补丁兼容关系**  | MRS 3.2.0-LTS.1.1补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |
| **安装补丁的影响** | 请参考[安装补丁的影响]。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
   
#### 对接LakeFormation的约束
1. LakeFormation服务Add partitions API限制一次新增分区数最大100，影响MRS对接后Hive/Spark通过alter table add partitions一次新增过多分区
2. MRS安装补丁后添加RangerKMS、PolicySync实例，必须部署在RangerAdmin相同节点上
3. MRS 3.2.0-LTS.1.3版本对接LakeFormation后，Spark/Flink on Hudi场景存在如下约束：
   1. 用户新建Hudi表前，需要先在LakeFormation上对用户的IAM用户组授予database的obs目录读写权限，否则建表时会提示403 缺少obs权限。
   
   2. 用户创建Hudi表后，不支持在LakeFormation管理面编辑表的字段，必须通过Spark客户端增删改表的字段。
   
   3. MRS对接LakeFormation后，Flink on Hudi场景下同步Hive表，不支持使用hive_sync.mode=hms，只支持jdbc方式。
   
   4. 在提交任务的客户端中确保Spark的配置文件（*客户端路径* /Spark2x/spark/conf/hive-site.xml）中，包含如下配置：
      ```
      <property type="hidden" scope="all" classification="LakeFormation">
      <name>lakecat.auth.identity.util.class</name>
      <value>com.huawei.cloud.dalf.lakecat.client.identity.GuardianIdentityGenerator</value>
      </property>
      <property type="hidden" scope="all" classification="LakeFormation">
      <name>lakeformation.user.group.manager.class</name>
      <value>com.huawei.cloud.dalf.lakecat.client.hiveclient.group.GuardianUserGroupManager</value>
      </property>
      ```
      
    
 
#### 添加RangerKMS的约束
MRS安装补丁后添加RangerKMS，必须部署在RangerAdmin相同节点上。
 #### 安装补丁的影响
- MRS 3.2.0-LTS.1版本打了补丁后，如果需要添加服务，需要先卸载补丁，然后添加服务，再次重新安装补丁。
- MRS 3.2.0-LTS.1版本打了补丁后，禁止在管理面执行重装主机，重装软件的操作。
- MRS 3.2.0-LTS.1版本打了补丁后，如果集群有安装IoTDB组件，在对接CES的时候，需要关闭该组件的指标上报。
- MRS 3.2.0-LTS.1版本打了补丁后，重新下载安装的客户端也需要执行客户端升级步骤。
- MRS 3.2.0-LTS.1版本的补丁安装过程中会自动重启OMS，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装。
- **MRS 3.2.0-LTS.1版本打了补丁后，升级客户端以及升级zip包的步骤不能省略，若没有执行此操作，会影响Spark、HDFS、Flink等组件的补丁生效，会导致Spark client模式的作业运行失败。**
- MRS 3.2.0-LTS.1.1版本的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Spark2x、Kafka和CDL服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。
- MRS 3.2.0-LTS.1.2的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Spark2x、Kafka、CDL、HBase、Hadoop、HetuEngine、Loader、Hive、ClickHouse和meta服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。
- MRS 3.2.0-LTS.1.3的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启CDL、Flink、Yarn、HDFS、Hive、Kafka、MapReduce、Ranger、ClickHouse、Guardian、HBase、HetuEngine、IoTDB、Loader、meta和Spark2x服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。
- MRS 3.2.0-LTS.1.4的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Hue、Hive、Tez和Spark2x服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择"系统 \> 第三方AD"中关闭AD对接。
- MRS 3.2.0-LTS.1.5的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Hue、Hive、Tez和Spark2x服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择"系统 \> 第三方AD"中关闭AD对接。
- MRS 3.2.0-LTS.1.5及之后的补丁安装完成后，如需对接CES，请联系运维处理。
- MRS 3.2.0-LTS.1.6的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Flume、Hive、Kafka和Spark2x服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择"系统 \> 第三方AD"中关闭AD对接。
- MRS 3.2.0-LTS.1.7的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Flume、Hive、Kafka和Spark2x服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择"系统 \> 第三方AD"中关闭AD对接。
![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png)
**重启组件的范围，是以补丁依次升级给定的范围，即如果是从MRS 3.2.0-LTS.1.4打补丁升级到MRS 3.2.0-LTS.1.5，需要重启MRS 3.2.0-LTS.1.5补丁的组件；如果是跨版本升级的，则需要重启的组件范围是各补丁的合集。**
- 如果有使用人为安装的客户端（集群内、外新下载客户端），需要执行客户端升级或者回退的操作：
  1. 登录集群主节点: **cd /opt/Bigdata/patches/** *{补丁版本号}* **/download/**
     ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png)
     所有操作中，"{补丁版本号}"都需要以实际安装的补丁号为准。例如当前安装的补丁为MRS_3.2.0-LTS.1.1，那么{补丁版本号}的值就为MRS_3.2.0-LTS.1.1。
     
  
  2. 将补丁安装包复制到客户端机器/opt/目录下： **scp patch.tar.gz** *{客户端节点IP地址}* ***:*/opt/**
     例如：
     **scp patch.tar.gz 127.0.0.1:/opt/**
     
  
  3. 登录客户端所在节点。 例如：
     **ssh 127.0.0.1**
     
  
  4. 执行命令创建补丁目录并解压补丁包： **mkdir /opt/** *{补丁版本号}*
     **tar -zxf /opt/patch.tar.gz -C /opt/** *{补丁版本号}*
     
  
  5. 补丁升级/回退
     - 执行客户端补丁升级： 登录客户端所在节点
       **cd /opt/** *{补丁版本号}* **/client**
       **sh upgrade_client.sh upgrade** *{客户端安装目录}*
       例如：
       **sh upgrade_client.sh upgrade /opt/client/**
       
     
     - 执行客户端补丁回滚（卸载完补丁后执行）： 登录客户端所在节点
       **cd /opt/** *{补丁版本号}* **/client**
       **sh upgrade_client.sh rollback** *{客户端安装目录}*
       例如：
       **sh upgrade_client.sh rollback /opt/client/**
       
      
   
- MRS 3.2.0-LTS.1版本如果安装了Spark服务，需要在补丁安装完成后在主OMS节点执行HDFS上zip包的升级操作：
  1. 登录集群主节点： **su - omm**
     **cd /opt/Bigdata/patches/** *{补丁版本号}* **/client/**
     **source /opt/Bigdata/client/bigdata_env**
     
  
  2. 安全集群需要认证对HDFS有权限的用户： **kinit** *{业务用户}*
     
  
  3. 执行升级HDFS上的包： **sh update_hdfs_file.sh**
     
  
  4. （可选）回退（卸载完补丁后执行）: **sh rollback_hdfs_file.sh**
     
  
  5. 升级/回退完成后需要在FusionInsight Manager Web界面上重启Spark的JDBCServer2x实例。
   
 
