更新时间:2023-05-18 GMT+08:00
分享

MRS 2.1.0.11补丁说明

补丁基本信息

表1 补丁基本信息

补丁号

MRS 2.1.0.11

发布时间

2020-12-30

解决的问题

MRS 2.1.0.11 修复问题列表:

MRS Manager

解决executor/knox/os日志不回滚问题

增加executor GC日志

解决knox重启失败问题

解决节点故障提交作业失败问题

支持全链路监控

解决ResourceManager主备倒换导致作业状态不更新问题

解决部分场景下备份恢复失败问题

解决HMaster频繁出现进程故障告警问题

大数据组件

解决jobhistory内存泄漏问题

解决Hive truncate表超时失败问题

解决Hive增量任务失败后表数据文件不存在问题

解决Hive sql运行异常问题

解决安全集群创建carbon表后生成的目录hive组没权限,其他用户不能创建carbon表的问题

解决spark jdbcserver进程异常问题

MRS 2.1.0.10 修复问题列表:

MRS Manager

解决安装补丁后扩容会导致capacity-schedule.xml中新增的队列配置丢失问题

回退全链路监控

大数据组件

解决spark操作hive赋权失败问题

解决不指定队列,默认提交到launcher-job队列,影响任务正常运行问题

MRS 2.1.0.9 修复问题列表:

MRS Manager

解决MRS Executor内存溢出问题

优化扩容流程

解决sparkSql包含空格的情况拼接sql错误问题

解决偶现HiveSql作业提交失败问题

优化keytab文件下载的权限控制

大数据组件

解决Presto角色名称包含大写字母,权限模型未生效问题

解决Hive删除分区慢的问题

解决Spark 长时间运行Token过期问题

MRS 2.1.0.8 修复问题列表:

MRS Manager

解决委托访问OBS,ECS接口限流问题

MRS Manager支持多人登录

支持全链路监控

MRS 大数据组件

carbon2.0升级

解决HBASE-18484问题

MRS 2.1.0.7 修复问题列表:

MRS Manager

解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题

支持presto查询结果保存成一个文件

MRS 2.1.0.6 修复问题列表:

MRS Manager

解决磁盘IO利用率监控数据不准确问题

解决偶现spark作业状态未刷新问题

解决作业运行失败问题

优化补丁机制

MRS 大数据组件

解决HBase异常问题

解决Hive Role绑定权限卡顿问题

MRS 2.1.0.5 修复问题列表:

MRS 大数据组件

impala支持ObsFileSystem功能

支持MRS Manager页面以及组件原生页面超时时间可配置

解决Hive绑定权限卡顿问题

解决数据连接失败问题

MRS 2.1.0.3 修复问题列表:

MRS Manager

Manager executor高并发提交作业问题

MRS 大数据组件

hive on tez插入数据失败问题

MRS 2.1.0.2 修复问题列表:

MRS Manager

nodeagent重启后不显示监控信息

长时间提交作业,manager executor进程会内存溢出

支持提交作业,manager executor可配置并发度功能

MRS manager管理面看不到Kafka新建的topic

安全集群API方式提交Spark Submit作业操作HBase表, HBase表权限控制未生效

MRS manager补丁机制优化

MRS 大数据组件

Spark执行load data inpath

Spark建表支持列名带$字符

OBS相关问题修复

MRS 2.1.0.1 修复问题列表:

MRS Manager

优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。

MRS 大数据组件

MRS Hive 解决hive server内存泄露问题:HIVE-10970、HIVE-22275。

补丁兼容关系

MRS 2.1.0.11补丁包中包含MRS 2.1.0版本发布的所有补丁内容。

已修复漏洞披露

解决Spark 远程代码执行漏洞,漏洞详细请参考CVE-2020-9480

安装补丁的影响

  • 安装MRS 2.1.0.11补丁期间会重启MRS Manager,滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。
  • MRS 2.1.0.11补丁安装后,需要登录备Master节点(登录MRS Manager,在“主机管理”页面中带有空心五角星的Master节点即为备Master节点)并切换到omm用户执行sh /opt/knox/bin/restart-knox.sh命令重启knox进程。单Master节点集群无需执行该操作。

    可通过执行ps -ef |grep knox命令查询knox进程是否启动,当显示knox进程号时表示启动成功。

  • (可选)MRS 2.1.0.11补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。
    • 重新安装客户端前建议先对老客户端进行备份。
    • 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。
  • (可选)支持MRS Manager页面以及组件原生页面超时时间可配置,需要手动修改如下配置。
    1. 修改所有Master节点的web和cas服务的session超时时间。
      1. 修改/opt/Bigdata/tomcat/webapps/cas/WEB-INF/web.xml中的<session-timeout>20</session-timeout>,值的单位为分钟。
      2. 修改/opt/Bigdata/tomcat/webapps/web/WEB-INF/web.xml中的<session-timeout>20</session-timeout>,值的单位为分钟。
    2. 修改所有Master节点的cas的TGT有效时长。

      修改/opt/Bigdata/tomcat/webapps/cas/WEB-INF/spring-configuration/ticketExpirationPolicies.xml中的p:maxTimeToLiveInSeconds="${tgt.maxTimeToLiveInSeconds:1200}"和p:timeToKillInSeconds="${tgt.timeToKillInSeconds:1200}"中的1200为对应的超时时长,值的单位是秒。

    3. 在主Master节点重启tomcat服务。
      1. 在主master节点上用omm用户执行netstat -anp |grep 28443 |grep LISTEN查询tomcat的进程号。
      2. 执行kill -9 {pid},其中{pid}为上一步中查询到的进程号。
      3. 等待进程自动重启,可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动,如果可以查到结果说明进程启动成功。
    4. 为各组件添加或修改配置项,配置项的值与超时时间一致,单位为秒。
      • HDFS/MapReduce/Yarn:添加自定义配置项http.server.session.timeout.secs
      • Spark:修改配置spark.session.maxAge的值
      • Hive:添加自定义配置项http.server.session.timeout.secs

      保存配置项时可选择不重启受影响的服务或实例,等待业务不繁忙时再重启服务或实例。

分享:

    相关文档

    相关产品