MRS 3.2.0-LTS.1补丁说明

MRS 3.2.0-LTS.1.7

2024-02-21

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

MRS 3.2.0-LTS.1.7修复问题列表：

• 解决Spark子查询当做列字段执行SQL任务时Ranger鉴权报错。
• 解决Flink写Hudi失败时，作业从checkpoint恢复失败的问题。

MRS 3.2.0-LTS.1.7补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

请参考安装补丁的影响。

MRS 3.2.0-LTS.1.6

2024-02-04

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

• CDL支持表字段大写。
• Flink写网易DDB时支持指定拆分键。
• Flink支持upsertkafka监控数据写入influxdb。
• Flink流读Hudi支持消息滞留时间、消息堆积时间监控。
• Flink支持ignoreDelete特性。
• Yarn NodeManager支持优雅退服。
• Kafka支持数据加密。
• Spark支持子查询字段不带聚合函数语法（设置spark.sql.legacy.correlated.scalar.query.enabled参数值为true）。
• Spark支持视图表权限控制（在JDBCserver的自定义custom参数添加spark.ranger.plugin.viewaccesscontrol.enable值为true；添加参数。spark.ranger.plugin.viewaccesscontrol.enable=true到客户端目录下Spark2x/spark/conf/spark-defaults.conf 配置文件中；重启JDBCserver实例）。

MRS 3.2.0-LTS.1.6修复问题列表：

• 解决CDL作业增加start time参数造成Hudi表中没有写入数据的问题。
• 解决CDL重启作业不能杀掉残留connector线程的问题。
• 解决Clickhouse balance的error日志不回滚问题。
• 解决ClickHouse数据入库慢的问题。
• 解决ClickHouse TTL未生效的问题。
• 解决ClickHouse、Zookeeper连接过多导致Hive客户端无法连接的问题。
• 解决ClickHouse物化视图的基表中添加列报OOM的问题。
• Executor将作业老化顺序优化为根据作业结束时间老化。
• 解决FlinkUI上传的UDF不修改包名导致UDF更新失败的问题。
• 解决Flink上传UDF后UI分页显示异常的问题。
• 解决Flink流读Hudi数据时间显示会少8小时的问题。
• 解决使用FlinkServer创建SASL_SSL认证的kafka连接，执行报错的问题。
• 解决Flink对接Guardian启用OBS，Flink作业重启偶现重启失败的问题。
• 解决DataArts Studio提交作业无法正常重试从Checkpoint恢复的问题。
• 解决使用FlinkServer提交作业时，显示提交失败，但是Yarn上作业是RUNNING的问题。
• 解决DataArts Studio提交Flink-SQL作业报StackOverFlow错误的问题。
• 优化Flink security.ssl.encrypt.enabled参数值为TRUE，而不能修改，影响任务启动速度的问题。
• 解决DataArts Studio失败重试执行作业存在作业从头消费而不是从Checkpoint启动的问题。
• 解决普通集群使用RESTAPI调用FlinkServer的jobs/action时报错。
• 解决Flink jar包写ClickHouse作业无法提交的问题。
• 解决Flink Join状态剔除的hint参数功能不生效的问题。
• 解决Flink作业报错信息不准确，日志显示的错误行数与作业SQL错误行数不一致的问题。
• 解决Flink流读Hudi当表写入数据时作业失败，写Hudi作业提交运行失败的问题。
• 解决Flinkserver SQL校验失败的问题。
• 解决Flink客户端不支持-yD或-D配置keytab和principal的问题。
• 解决Flink算子chain打开时sink算子出现异常被source算子捕获，作业tm不失败的问题。
• 解决MRS实时任务告警通知不显示具体作业名称的问题。
• 解决Flume自定义时间拦截器未生效的问题。
• 解决弹性伸缩时偶现的启动NodeManager失败导致的单节点扩容失败的问题。
• 解决安全模式下，不能使用HDFS用户下发Balance均衡任务的问题。
• 解决Yarn资源池可用资源指标异常，导致弹性伸缩触发异常。
• 解决NodeManager节点磁盘打满故障，导致资源池成员迁移到默认资源池。
• 解决Dead DataNode数量超过阈值告警不会自动清除的问题。
• 解决HBase健康检查脚本调用超时导致上报服务不可用误告警。
• 解决HetuEngine alter添加列后，insert数据时旧分区无数据问题。
• 解决HetuEngine、Flink写入数据时，compaction后HetuEngine概率读取RO表无数据的问题。
• 修复HDFS日志归集缺包问题。
• 解决HetuEngine使用HSFabric连接JDBC执行SQL失败。
• 解决Hive on tez overwrite分区表结果为空时会报错的问题。
• Hive集成DataAtrs元数据同步插件包。
• 解决配置Hive元数据最后访问时间后Hive作业频繁报错的问题。
• 解决Hive alter table test drop partition (分区<'xxxx')；分批删除参数不生效的问题。
• 解决Hive JDBC连接拼接&useSSL=false等参数不生效的问题。
• 解决高并发场景下hive on spark作业提交jar包超时导致作业失败的问题。
• 解决CDL写入Hudi表出现bucket桶id重复问题。
• 解决Hudi compaction比clean运行快导致数据无法读取的问题。
• 解决compaction任务失败残留了异常文件没有被清理，导致Spark读Hudi时报“xx is not a Parquet file”异常的问题。
• 解决Spark作业读上游读库表，excutor报错找不到该表OBS .schema目录下的文件的问题。
• Hudi compaction schedule优化，根据最后一次compaction action生成plan。
• Hudi默认保留5G归档后的压缩文件。
• Hudi OBS默认Clean不进回收站。
• Hudi archive归档更多的clean和rollback，减少元数据文件数。
• 解决Hudi Cow不执行Clean就无法触发归档的问题。
• 解决Hudi使用Spark生成批补表的数据时，表目录被删除的问题。
• 解决Hudi表大小写生成的namespace不一致，导致update失败的问题。
• Hudi新增call command清理无效元数据文件。
• 解决Hudi DELETE_EMPTY_INSTANT功能在异常场景导致有数据的instant被删掉的问题。
• 解决Flink append mode丢失数据问题。
• 历史数据默认保存30天超期后未清理的问题。
• 解决调整时区为UTC后Manager页面实时监控数据为空的问题。
• 解决Manager页面租户资源下的全局用户策略内容不分页的问题。
• Manager页面新增显示yarn on cce按钮。
• 解决新建集群通过专线访问Manager页面，需要手动修改Tomcat配置的问题。
• Manager对接运维页面。
• 解决MRS集群出现误告警的问题。
• 解决Manager跨越0点查询时，监控指标显示异常的问题。
• 解决Manager页面内核空间占用CPU百分比数值错误问题。
• 解决Manager页面主机线管监控页面切换到分布图后在切换时间段查看图标，图标的默认区间取值错误的问题。
• 解决主OMS的Gaussdb的进程占用内存较大的问题。
• 解决Manager组件自定义配置完后添加实例自定义配置没有显示的问题。
• 解决监控进程PMS一直重启的问题。
• 解决扩容节点，节点间互信失效告警误报问题。
• 解决Manager主备节点同步数据异常的问题。
• 解决Dead DataNode数量超过阈值告警不会自动清除的问题。
• Manager弹性扩缩容场景下上报的告警优化。
• Manager缩容场景下节点网络通信异常告警优化。
• 解决Controller重启上报服务不可用告警的问题。
• MRS Manager的管理员账号遗忘添加跳转支持文档。
• 集群配置Ranger元数据外置后RangeAdmin实例启动失败。
• 解决quit命令退出Spark客户端时报错的问题。
• 解决Spark偶现多租户模式下，driver端口与thriftserver端口冲突的问题。
• 解决空闲的SparkJDBC任务超过30分钟资源不释放的问题。
• 解决打开Zookeeper的ssl后提交Spark作业，连接Zookeeper失败，导致任务执行超时的问题。
• 解决Spark连接JDBCServer任务失败的问题。
• 解决Spark只给视图权限不给表的权限时，Hive可以查询视图，sparksql无法查询视图的问题。

MRS 3.2.0-LTS.1.6补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

请参考安装补丁的影响。

MRS 3.2.0-LTS.1.5

2023-10-23

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

• 支持在Hue WebUI中使用HetuEngine SQL编辑器。
• 运维巡检工具查询优化。
• Flink流读Hudi新增了对消息滞留时间和消息堆积时间的监控。

MRS 3.2.0-LTS.1.5修复问题列表：

• 解决Spark-JDBC偶现多租户模式下，driver端口与thriftserver端口一致冲突引发一系列问题。
• 解决Spark空闲的SparkJDBC任务超过30分钟，没有结束，资源未释放浪费资源问题。
• 解决HetuEngine在存散分离场景下映射方式对接OBS，查询大数据量时报错的问题。

MRS 3.2.0-LTS.1.5补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

请参考安装补丁的影响。

MRS 3.2.0-LTS.1.4

2023-10-16

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

• 支持在Hue WebUI中使用HetuEngine SQL编辑器。
• 运维巡检工具查询优化。

MRS 3.2.0-LTS.1.4修复问题列表：

• 解决Flink读MySQL作业出现的类冲突问题。
• 解决Flink Server提交SQL作业时解码异常错误。
• 解决DataArts Studio提交Flink SQL作业报StackOverflow错误。
• 解决普通集群使用RestA调用FlinkServer的jobs/action时报错。
• 解决Flink客户端不支持-yD或-D配置keytab和principal的问题。
• 解决HetuEngine查询Flink写入的HudiMOR表数据为空的问题。
• 解决HetuEngine对Hudi的bucket索引mor表和mor_rt表查询失败问题。
• 解决HetuEngine查询Hive的LZ4压缩格式数据失败问题。
• 解决HetuEngine查询Hudi的OBS表失败问题。
• 解决HetuEngine多hashkey时，查询条件包含单个hashkey时，无法查出结果的问题。
• 解决Hudi数据源add columns/drop columns之后HetuEngine查询失败的问题。
• 解决Hudi在replacement场景下无法正常归档文件问题。
• 解决Hudi在InternalSchema转AvroSchema未去掉元字段导致流任务更新数据失败问题。
• 解决Hudi版本升级后出现Spark读Hudi表和run compaction失败问题。
• 解决Hudi SQL执行call run_clustering_Mor后，rt/ro表的log数据丢失问题。
• 解决Hudi ro表compaction期间数据查询不出来问题。
• 解决Hudi表带decimal字段做ddl变更，在执行clustering报错问题。
• 解决Hudi Cow/mor表执行完drop partition后，首次执行delete报堆栈异常的问题。
• 解决Hive on Tez查询Hudi的schema演进表报错，需要适配默认InputFormat切分方式问题。
• 解决Spark/Flink写Hudi表，控制归档文件大小的参数不生效的问题。
• 解决Hudi mor表，log中1900前的timestamp数据错误问题。
• 解决HetuEngine查询Hudi数据重复问题。
• 解决Manager中12小时以上监控数据无法导出的问题。
• 解决Manager中节点磁盘使用率和磁盘读速率无法显示一周数据的问题。
• 解决弹性伸缩场景下操作更新集群拓扑时，全表查询TBL_HISTORY_TOPOLOGY导致controller触发OOM问题。
• 解决弹性伸缩过程中出现Metaspace内存不足触发agent重启的问题。
• 解决弹性伸缩场景下OMA进程异常无法采集指标，导致扩缩容任务异常问题。
• 解决大集群中监控数据丢失问题。
• 解决Manager AD对接后同步用户失败问题。
• 解决集群配置Ranger元数据外置后RangerAdmin实例启动失败问题。
• 对接LakeFormation，policysync同步策略失败整改。
• 解决Spark JDBC模式执行插入耗时过久的问题。
• 解决Hudi-Connector支持bucket裁剪性能优化问题。

MRS 3.2.0-LTS.1.4补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

请参考安装补丁的影响。

MRS 3.2.0-LTS.1.3

2023-08-04

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

• Manager支持指定节点进行退服入服
• MRS集群支持对接LakeFormation

  MRS对接LakeFormation操作指导，请参见：配置LakeFormation数据连接。

  LakeFormation使用流程简介以及约束，请参见：LakeFormation使用流程简介。

• Guardian新增开启accesslabel开关
• Guardian支持自定义文件生成器
• 支持添加RangerKMS实例，提供数据加密服务
• 管控面提交FlinkSQL作业支持元数据管理

MRS 3.2.0-LTS.1.3修复问题列表：

• 解决Hudi修改long到string后run compaction，Spark读失败问题。
• 解决Hudi修改schedule后之前的commit文件被清理，spark compaction失败问题。
• 解决Hudi表有修改列名、删除重新添加列，只进行schedule，spark compaction失败问题。
• 解决Hudi增删改列后run compaction，cdl hudi2dws作业失败报空指针问题。
• 解决Hudi写log会从文件中读schema，log越大读取越慢，影响写入效率问题。
• 解决Hudi subtasks处理数据倾斜，导致300并发的场景下部分资源闲置问题。
• 解决Hudi stg_rtd_hah_ae_t_detail_t表异步compaction失败问题。
• 解决Flink指定COMPLEX创建的hudi表，spark写失败，报KeyGenerator冲突问题。
• 解决Flink提交作业错误提示问题。
• 解决Flink作业异常退出，同一个key的数据做分区变更报NPE的问题。
• 解决Flink作业读hudi log文件报错Did not find the magic bytes at the start of block的问题。
• 解决DataArts Studio作业配置后未从上一个checkpoint重启Flink的问题。
• 解决管控面提交Spark作业长时间运行后访问obs报403问题。
• 解决CDL appid刷新错误，任务显示失败，但实际是运行中的问题。
• 解决CDL Topic Creation失败，报Topic已存在的问题。
• 解决CDL单AZ断网场景，出现作业自动停止的问题。
• 解决CDL任务一直处于正常状态，历史任务id存在失败，仍然上报告警问题。
• 解决CDL单AZ断网后，作业失败，查看appid为空，但是在yarn页面查看任务实际是存在并运行中的问题。

MRS 3.2.0-LTS.1.3补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

请参考安装补丁的影响。

MRS 3.2.0-LTS.1.2

2023-05-10

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

MRS 3.2.0-LTS.1.2 修复问题列表：

• 解决Manager无法创建带点字符用户问题。
• 解决IAM同步的用户组无法添加Manager页面上创建的用户问题。
• 解决夏令时时间下组件on obs功能不可用问题。
• 解决在Manager页面创建备份任务到obs时参数校验异常问题。
• 解决通过API接口提交Spark作业时的日志打印问题。
• 解决修改ClickHouse索引列导致进程重启问题。
• 解决在Manager页面租户管理中动态资源计划显示异常问题。
• 解决修改Clickhouse配置时创建的Zookeeper连接不释放问题。
• 解决在Manager页面ClickHouse组件修改角色添加数据库的create权限，导致已有表的自定义权限丢失问题。

MRS 3.2.0-LTS.1.2补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

请参考安装补丁的影响。

MRS 3.2.0-LTS.1.1

2023-04-07

如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。

MRS 3.2.0-LTS.1.1 修复问题列表：

• 解决Hudi性能优化，增加优化参数控制同步Hive schema问题。
• 解决Hudi表包含decimal字段做ddl变更时，执行clustering报错问题。
• 解决MRS 3.1.2版本创建的hudi bucket索引表，在升级后compaction作业失败问题。
• 解决Table can not read correctly when computed column is in the midst问题。
• 解决Hudi的schema evolution和历史版本不兼容问题。
• 解决Fink无法读取低版本Spark用bulk insert方式写入的timestamp类型数据的精度问题。
• 解决mor表delete数据，下游Flink读任务失败问题。
• 解决Flink流写mor开启同步compaction，包含decimal列，Spark添加一列后重启作业，触发compaction执行失败问题。
• 解决Flink写mor表同时sparksql查询，当Flink触发clean后，Spark查询失败问题。
• 解决mor表有rollback，执行cleanData后Flink schedule生成计划，spark run compaction报空指针问题。
• 解决Flink进行批量作业时权限不足导致作业失败问题。
• 解决Flink指定timestamp读Kafka异常的问题。
• 解决Flink写历史版本创建的bucket索引hudi表，索引数据错乱重复fileid问题。
• 解决Flink On HBase当条件为null时，使用错误下推Filter导致漏数问题。
• 解决Flink on hudi解析的时间范围如果超过2262-04-11 23:47:16，则会解析失败，报错overflow问题。
• 解决Spark/Flink写Hudi表，控制归档文件大小的参数不生效问题。
• 解决Spark任务，有多个ddl语句(drop，truncate，create)长时间执行不结束问题。
• 解决Spark建mor表带timestamp，Flink流读数据有误，相差8h问题。
• 解决cow/mor表执行完drop partition后，首次执行delete报错，堆栈异常问题。
• 解决datasource写Hudi表名和同步的Hive表名不一致，写入失败，sql写location指定到一个存量cow表目录，表名不一致，insert成功的问题。
• CDL链路hudi-dws性能优化。
• 解决CDL升级后业务用户未添加hadoop组，任务启动失败问题。
• 解决CDL hudi-dws链路配置max.commit.number参数时，偶现同步数据丢失问题。
• 解决当CDL存在连接源端库失败的作业，task线程泄漏，导致作业启动超时问题。
• 解决CDL Hudi connector代码中增加hoodie.datasource.hive_sync.skip_sync_schema参数，默认为true，优化元数据同步性能，减少性能毛刺问题。
• 解决CDL读Hudi表出现404失败，找不到rollback.requested问题。
• 解决CDL Task阻塞导致所有任务Task失败问题。
• 解决Yarn的jdbcserver资源超长时间不释放问题。

MRS 3.2.0-LTS.1.1补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

请参考安装补丁的影响。