MRS 1.9.0.8、1.9.0.9、1.9.0.10补丁说明
补丁基本信息
|
解决的问题 |
补丁号：MRS 1.9.0.10 发布时间：2023-01-17 修复问题列表： MRS大数据组件 OBSA支持流控重试 |
|---|---|
|
补丁号：MRS 1.9.0.9 发布时间：2022-08-10 修复问题列表： MRS大数据组件 superior调度器算法优化 |
|
|
补丁号：MRS 1.9.0.8 发布时间：2021-02-20 修复问题列表： MRS大数据组件 增加调用ECS getSecuritykey接口异常的监控 优化临时AK/Sk流程 解决ResourceManager内存泄露问题 |
|
|
MRS 1.9.0.7 修复问题列表： MRS Manager 解决扩容刷新队列导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block id乱码，导致任务卡顿问题 解决Hadoop的task任务报空间不足失败问题 Hive中增加自研的接口 解决map.xml无法读取的问题 解决ZK脏数据导致Yarn服务不可用问题 解决Yarn的ResourceManager内存泄漏问题 Hive har特性优化 OBS包升级 JDK版本升级 |
|
|
MRS 1.9.0.6 修复问题列表： MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS大数据组件 解决Hivese提交sql卡顿问题 支持jobhistory查询失败信息接口 解决细粒度权限不生效问题 解决hive on Spark读取数据异常问题 解决Hive on mrs任务执行两次数据量增大问题 解决Hive开启矢量向量化查询有些字符串性能差问题 |
|
|
MRS 1.9.0.5 修复问题列表： MRS Manager MRS Manager优化保存配置时的服务重启过程 MRS Manager解决周期备份失败问题 MRS大数据组件 Ranger的私有patch 解决Yarn出现JVM Create GC thread failed问题 新增Hiveserver2 任务堆积告警 新增Hiveserver HiveMetastore GC时间超过5s告警 新增HiveServer2 解注ZK告警 新增20分钟内Yarn任务失败与kill数超过5个的告警 解决spark jobhistory时区不对问题 优化metastore重启机制 解决HIVE-22771开源问题 解决Hive beeline不打印日志的问题 解决Yarn页面上active node数目不对问题 解决RM线程数过多导致RM页面打开慢问题 支持OBS监控 OBS包升级 解决hive-jdbc并发插入10条数据时部分数据未插入问题 解决hive偶现报kryo反序列化失败问题 解决Spark jobhistory内存泄漏问题 解决Spark jobhistory偶现无法显示application列表问题 |
|
|
MRS 1.9.0.3 修复问题列表： MRS Manager MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS大数据组件 解决Ranger日志不能设置个数，有撑满磁盘风险的问题 |
|
|
MRS 1.9.0.2 修复问题列表： MRS Manager 解决集群中部分Core节点互信丢失问题 解决补丁安装后添加实例失败问题 MRS Manager页面支持修改hiveserver的滚动重启超时时间 MRS大数据组件 obs包升级 |
|
|
MRS 1.9.0.1 修复问题列表： MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 |
|
|
补丁兼容关系 |
MRS 1.9.0.10补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。 |
安装补丁的影响
- 安装MRS 1.9.0.10补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark、Presto以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。
- MRS 1.9.0.10补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。
- 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。
- 自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。
- 重新安装客户端前建议先对老客户端进行备份。
- 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。
- （可选）通过委托获取临时AKSK访问OBS场景下，通过参数“fs.obs.auth.node-cache-short-circuit.enable”的不同配置控制是否允许访问ECS元数据接口，从而控制是否允许触发ECS流控。
MRS集群支持通过委托获取临时AKSK访问OBS。临时AKSK通过ECS元数据接口获取。ECS元数据接口有单机器5分钟140次的流控阈值，触发流控后机器被加入黑名单，30分钟内不能再次请求元数据接口。为防止触发流控，MRS实现了节点级别跨进程的缓存服务meta，用于缓存临时AKSK。
使用场景：适用于通过委托适用临时aksk访问OBS的Spark，Hadoop等Yarn作业。配置在客户端core-site.xml中。
默认配置为true，MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取临时aksk。若meta故障，则从ecs元数据接口获取临时AKSK。
如果希望meta故障时也不直接访问ECS元数据接口，以免触发流控导致节点被加入黑名单，则将参数配置为false。
