文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ MRS集群补丁说明/ MRS 2.1.0.11补丁说明
更新时间：2024-09-04 GMT+08:00
查看PDF
分享

MRS 2.1.0.11补丁说明

补丁基本信息

表1 补丁基本信息

补丁号

MRS 2.1.0.11

发布时间

2020-12-30

解决的问题

MRS 2.1.0.11 修复问题列表：

MRS Manager

解决executor/knox/os日志不回滚问题

增加executor GC日志

解决knox重启失败问题

解决节点故障提交作业失败问题

支持全链路监控

解决ResourceManager主备倒换导致作业状态不更新问题

解决部分场景下备份恢复失败问题

解决HMaster频繁出现进程故障告警问题

大数据组件

解决jobhistory内存泄漏问题

解决Hive truncate表超时失败问题

解决Hive增量任务失败后表数据文件不存在问题

解决Hive sql运行异常问题

解决安全集群创建carbon表后生成的目录hive组没权限，其他用户不能创建carbon表的问题

解决spark jdbcserver进程异常问题

MRS 2.1.0.10 修复问题列表：

MRS Manager

解决安装补丁后扩容会导致capacity-schedule.xml中新增的队列配置丢失问题

回退全链路监控

大数据组件

解决spark操作hive赋权失败问题

解决不指定队列，默认提交到launcher-job队列，影响任务正常运行问题

MRS 2.1.0.9 修复问题列表：

MRS Manager

解决MRS Executor内存溢出问题

优化扩容流程

解决sparkSql包含空格的情况拼接sql错误问题

解决偶现HiveSql作业提交失败问题

优化keytab文件下载的权限控制

大数据组件

解决Presto角色名称包含大写字母，权限模型未生效问题

解决Hive删除分区慢的问题

解决Spark长时间运行Token过期问题

MRS 2.1.0.8 修复问题列表：

MRS Manager

解决委托访问OBS，ECS接口限流问题

MRS Manager支持多人登录

支持全链路监控

MRS 大数据组件

carbon2.0升级

解决HBASE-18484问题

MRS 2.1.0.7 修复问题列表：

MRS Manager

解决DLF+Presto查询时字段中包含换行符，数据和文件显示问题

支持presto查询结果保存成一个文件

MRS 2.1.0.6 修复问题列表：

MRS Manager

解决磁盘IO利用率监控数据不准确问题

解决偶现spark作业状态未刷新问题

解决作业运行失败问题

优化补丁机制

MRS大数据组件

解决HBase异常问题

解决Hive Role绑定权限卡顿问题

MRS 2.1.0.5 修复问题列表：

MRS大数据组件

impala支持ObsFileSystem功能

支持MRS Manager页面以及组件原生页面超时时间可配置

解决Hive绑定权限卡顿问题

解决数据连接失败问题

MRS 2.1.0.3 修复问题列表：

MRS Manager

Manager executor高并发提交作业问题

MRS大数据组件

hive on tez插入数据失败问题

MRS 2.1.0.2 修复问题列表：

MRS Manager

nodeagent重启后不显示监控信息

长时间提交作业，manager executor进程会内存溢出

支持提交作业，manager executor可配置并发度功能

MRS manager管理面看不到Kafka新建的topic

安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效

MRS manager补丁机制优化

MRS大数据组件

Spark执行load data inpath慢

Spark建表支持列名带$字符

OBS相关问题修复

MRS 2.1.0.1 修复问题列表：

MRS Manager

优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。

MRS大数据组件

MRS Hive解决hive server内存泄露问题：HIVE-10970、HIVE-22275。

补丁兼容关系

MRS 2.1.0.11补丁包中包含MRS 2.1.0版本发布的所有补丁内容。

已修复漏洞披露

解决Spark远程代码执行漏洞，漏洞详细请参考CVE-2020-9480

安装补丁的影响

  • 安装MRS 2.1.0.11补丁期间会重启MRS Manager，滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。
  • MRS 2.1.0.11补丁安装后，需要登录备Master节点（登录MRS Manager，在“主机管理”页面中带有空心五角星的Master节点即为备Master节点）并切换到omm用户执行sh /opt/knox/bin/restart-knox.sh命令重启knox进程。单Master节点集群无需执行该操作。

    可通过执行ps -ef |grep knox命令查询knox进程是否启动，当显示knox进程号时表示启动成功。

  • （可选）MRS 2.1.0.11补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。
    • 重新安装客户端前建议先对老客户端进行备份。
    • 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。
  • （可选）支持MRS Manager页面以及组件原生页面超时时间可配置，需要手动修改如下配置。
    1. 修改所有Master节点的web和cas服务的session超时时间。
      1. 修改/opt/Bigdata/tomcat/webapps/cas/WEB-INF/web.xml中的<session-timeout>20</session-timeout>，值的单位为分钟。
      2. 修改/opt/Bigdata/tomcat/webapps/web/WEB-INF/web.xml中的<session-timeout>20</session-timeout>，值的单位为分钟。
    2. 修改所有Master节点的cas的TGT有效时长。

      修改/opt/Bigdata/tomcat/webapps/cas/WEB-INF/spring-configuration/ticketExpirationPolicies.xml中的p:maxTimeToLiveInSeconds="${tgt.maxTimeToLiveInSeconds:1200}"和p:timeToKillInSeconds="${tgt.timeToKillInSeconds:1200}"中的1200为对应的超时时长，值的单位是秒。

    3. 在主Master节点重启tomcat服务。
      1. 在主master节点上用omm用户执行netstat -anp |grep 28443 |grep LISTEN查询tomcat的进程号。
      2. 执行kill -9 {pid}，其中{pid}为上一步中查询到的进程号。
      3. 等待进程自动重启，可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动，如果可以查到结果说明进程启动成功。
    4. 为各组件添加或修改配置项，配置项的值与超时时间一致，单位为秒。
      • HDFS/MapReduce/Yarn：添加自定义配置项http.server.session.timeout.secs
      • Spark：修改配置spark.session.maxAge的值
      • Hive：添加自定义配置项http.server.session.timeout.secs

      保存配置项时可选择不重启受影响的服务或实例，等待业务不繁忙时再重启服务或实例。

父主题： MRS集群补丁说明