补丁基本信息说明

MRS 3.1.0.0.16

2024-11-25

• 提交Spark SQL作业，中文冒号被转换成英文冒号。
• Spark SQL外表动态分区执行insert overwrite报错。
• Spark JDBC产生空指针报错。
• Spark JDBCServer任务并发长稳运行出现端口冲突，导致连接失败。
• Spark Streaming写HBase换盘场景中，加入黑名单中的Executor会残留。
• MRS集群Spark2x的“listing.ldb”文件夹不自动清理，导致根目录写满。
• Spark数据保护黑名单中防止创建表Location指定路径到库后，导致删除表之后库数据丢失。
• Spark启用Ranger鉴权场景中的show tables性能增强。
• Spark查询数据量与Hive查询数据量不一致。
• DGC并发提交Flink作业偶现下载keytab文件失败。
• Impala异常重启。Impala queries页面采集数据时和提交SQL查询时读取了同一个vector容器，导致查询queries数据时coredump重启。
• 开启haproxyfloatname的Kerberos Principal后，Impala服务不可用，Impalad实例亚健康。
• Yarn ResourceManager内存占满触发Full GC 100+s，不能及时进行主备倒换。
• Yarn NodeManager心跳丢失。
• Yarn ResourceManager偶现空指针报错导致重启。
• Yarn ResourceManager内存泄漏。
• Yarn客户侧ResourceManager报错空指针并发生主备倒换。
• 重启Router或者NameNode时延高时，作业有概率在new状态卡顿。
• 结束有预留资源的任务后，Yarn上预留资源累加不释放。
• 主备容灾场景中，备集群MapReduce临时任务日志无法进行定期删除，使得日志目录会堆满，导致容灾任务失败。
• Yarn资源池可用资源指标异常，导致弹性伸缩触发异常。
• Yarn ResourceManager长时间运行后发现大量ContainerIdPBImpl对象占用内存，可能是内存泄漏。
• HDFS客户端leaserenewer线程泄漏。
• HDFS重启后权限属性丢失，导致数据无法读取。
• 备NameNode处于安全模式，但集群没有上报告警。
• Hadoop安全漏洞问题修改。
• HBase NettyRpc connection未正常关闭。
• HBase WAL未正常滚动，导致产生超大WAL。
• HBase Netty连接存在内存泄漏。
• HBase健康检查脚本调用超时导致误上报服务不可用告警。
• HBase支持过载保护流控和告警。
• HBase主备倒换后，RSGroup显示DEAD REGIONSERVERS错误。
• Spark执行任务时，报错Ranger策略为空，导致批量Spark任务失败。
• Manager主机资源概况页面中条数切换后数据不显示。
• Manager创建用户调用adduser.sh脚本不输出日志。
• NodeAgent进程偶现故障，不发送心跳，产生服务不可用告警。
• Manager主备节点同步数据异常，pms目录下存在脏数据。
• 集群节点隔离后频繁上报节点故障告警。
• 集群退订节点过程中偶现产生误告警。
• Manager上配置NAS备份进程不结束，导致节点内存升高。
• NodeAgent偶现会修改nodeagent.properties，有可能导致文件丢失。
• MRS集群节点内存占满，磁盘出现踢盘，盘分区丢失。
• LdapServer数据一致性检查增强。LDAP主备关键数据不一致，未能及时上报告警。
• Kafka Topic名称带有短横线分隔符，磁盘隔离后自动恢复失败。
• Kafka新增时延监控转告警，包括Topic数量监控、分区数量监控、请求时延监控，以增强定位定界功能。
• Kafka慢盘隔离场景中，当data1目录被隔离后，data1x目录会被误隔离。
• ClickHouse TTL到期的过期数据未清理。
• ClickHouse内存越界导致服务重启。
• ClickHouse数据磁盘存在误隔离。
• ClickHouse服务健康检查机制优化。
• ClickHouse多实例负载不均衡。
• 未开启Kerberos认证的集群，“/tmp/hive-scratch”目录被删后Hive重建的权限不正确，导致Hive一直异常。
• 重启Zookeeper节点后Hive SQL执行失败。
• Hive on Spark作业并发较高时，会占用很高的Master节点内存。
• Tez引擎在开启和关闭“hive.merge.nway.joins”运行结果不一致。
• Hive viewfs修改表路径后，指定分区insert、load插入数据，分区路径会发生改变。
• Hive MetaStore偶现死锁。
• Hive varchar类型数据查询不支持下推，并发较大时可能导致内存问题。
• Hive支持对自读自写的SQL进行拦截。
• Hive需要把.db库加入数据保护黑名单中，防止创建表Location指定路径到库后，删除表后导致库数据丢失。
• Hive并发overwrite写入后，执行overwrite的任务支持拦截。
• Hive并发插入不同分区数据，存在分区数据丢失问题。
• Hive监控告警增强，新增MetaStore只操作DB接口的耗时、HiveServer建立连接/关闭连接耗时 、MetaStore操作DB接口的耗时监控。
• Hive新增MetaStore连接数监控告警、SQL平均运行时间监控、扫描分区数监控和user、IP维度监控。
• Hive开启并发执行时，偶现insert执行结果无数据。
• 消除Kudu Tserver版本号显示的dirty。
• Kudu支持慢盘隔离。
• Manager慢盘检测脚本日志打印增加压缩归档功能。

MRS 3.1.0.0.16补丁包中包含所有MRS 3.1.0版本单点问题修复补丁。