更新时间:2022-05-13 GMT+08:00
分享

MRS 1.9.0.8补丁说明

补丁基本信息

表1 补丁基本信息

补丁号

MRS 1.9.0.8

发布时间

2021-02-20

解决的问题

MRS 1.9.0.8 修复问题列表:

MRS 大数据组件

增加调用ECS getSecuritykey接口异常的监控

优化临时AK/Sk流程

解决ResourceManager内存泄露问题

MRS 1.9.0.7 修复问题列表:

MRS Manager

解决扩容刷新队列导致队列丢失问题

MRS 大数据组件

解决Hive on Spark任务报block id乱码,导致任务卡顿问题

解决Hadoop的task任务报空间不足失败问题

Hive中增加自研的接口

解决map.xml无法读取的问题

解决ZK脏数据导致Yarn服务不可用问题

解决Yarn的ResourceManager内存泄漏问题

Hive har特性优化

OBS包升级

JDK版本升级

MRS 1.9.0.6 修复问题列表:

MRS Manager

MRS Manager支持包周期集群指定节点缩容

MRS 大数据组件

解决Hivese提交sql卡顿问题

支持jobhistory查询失败信息接口

解决细粒度权限不生效问题

解决hive on Spark读取数据异常问题

解决Hive on mrs任务执行两次数据量增大问题

解决Hive开启矢量向量化查询有些字符串性能差问题

MRS 1.9.0.5 修复问题列表:

MRS Manager

MRS Manager优化保存配置时的服务重启过程

MRS Manager解决周期备份失败问题

MRS 大数据组件

Ranger的私有patch

解决Yarn出现JVM Create GC thread failed问题

新增Hiveserver2 任务堆积告警

新增Hiveserver HiveMetastore GC时间超过5s告警

新增HiveServer2 解注ZK告警

新增20分钟内Yarn任务失败与kill数超过5个的告警

解决spark jobhistory时区不对问题

优化metastore重启机制

解决HIVE-22771开源问题

解决Hive beeline不打印日志的问题

解决Yarn页面上active node数目不对问题

解决RM线程数过多导致RM页面打开慢问题

支持OBS监控

OBS包升级

解决hive-jdbc并发插入10条数据时部分数据未插入问题

解决hive偶现报kryo反序列化失败问题

解决Spark jobhistory内存泄漏问题

解决Spark jobhistory偶现无法显示application列表问题

MRS 1.9.0.3 修复问题列表:

MRS Manager

MRS Manager升级ARM JDK

MRS Manager解决Core节点日志撑满系统盘问题

MRS 大数据组件

解决Ranger日志不能设置个数,有撑满磁盘风险的问题

MRS 1.9.0.2 修复问题列表:

MRS Manager

解决集群中部分Core节点互信丢失问题

解决补丁安装后添加实例失败问题

MRS Manager页面支持修改hiveserver的滚动重启超时时间

MRS 大数据组件

obs包升级

MRS 1.9.0.1 修复问题列表:

MRS Manager

MRS Manager支持滚动安装补丁时不重启服务

MRS 大数据组件

解决obs委托的5min内140次的访问限制问题

Kafka支持开源方式访问

解决SPARK-27637开源问题

优化hive滚动重启

obs包升级

补丁兼容关系

MRS 1.9.0.8补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。

安装补丁的影响

  • 安装MRS 1.9.0.8补丁期间会重启MRS Manager,滚动重启Hadoop、Hive、Spark、Kafka、Ranger以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。
  • MRS 1.9.0.8补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。
    • 重新安装客户端前建议先对老客户端进行备份。
    • 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。
  • (可选)通过委托获取临时AKSK访问OBS场景下,通过参数“fs.obs.auth.node-cache-short-circuit.enable”的不同配置控制是否允许访问ECS元数据接口,从而控制是否允许出发ECS流控。

    MRS集群支持通过委托获取临时AKSK访问OBS。临时AKSK通过ECS元数据接口获取。ECS元数据接口有单机器5分钟140次的流控阈值,触发流控后机器被加入黑名单,30分钟内不能再次请求元数据接口。为防止触发流控,MRS实现了节点级别跨进程的缓存服务meta,用于缓存临时AKSK。

    使用场景:适用于通过委托适用临时aksk访问OBS的Spark,Hadoop等Yarn作业。配置在客户端core-site.xml中。

    默认配置为true,MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取临时aksk。若meta故障,则从ecs元数据接口获取临时AKSK。

    如果希望meta故障时也不直接访问ECS元数据接口,以免触发流控导致节点被加入黑名单,则将参数配置为false。

分享:

    相关文档

    相关产品

close