更新时间:2024-08-13 GMT+08:00
分享

MRS 2.1.0.5补丁说明

补丁基本信息

表1 补丁基本信息

补丁号

MRS 2.1.0.5

发布时间

2020-05-27

解决的问题

MRS 2.1.0.5 修复问题列表:

MRS大数据组件

impala支持ObsFileSystem功能

支持MRS Manager页面以及组件原生页面超时时间可配置

解决Hive绑定权限卡顿问题

解决数据连接失败问题

MRS 2.1.0.3 修复问题列表:

MRS Manager

Manager executor高并发提交作业问题

MRS大数据组件

hive on tez插入数据失败问题

MRS 2.1.0.2 修复问题列表:

MRS Manager

nodeagent重启后不显示监控信息

长时间提交作业,manager executor进程会内存溢出

支持提交作业,manager executor可配置并发度功能

MRS manager管理面看不到Kafka新建的topic

安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效

MRS manager补丁机制优化

MRS大数据组件

Spark执行load data inpath

Spark建表支持列名带$字符

OBS相关问题修复

MRS 2.1.0.1 修复问题列表:

MRS Manager

优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。

MRS大数据组件

MRS Hive解决hive server内存泄露问题:HIVE-10970、HIVE-22275。

补丁兼容关系

MRS 2.1.0.5补丁包中包含MRS 2.1.0版本发布的所有补丁内容。

安装补丁的影响

  • 安装MRS 2.1.0.5补丁期间会重启MRS Manager,滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。
  • MRS 2.1.0.5补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。
    • 重新安装客户端前建议先对老客户端进行备份。
    • 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。
  • (可选)支持MRS Manager页面以及组件原生页面超时时间可配置,需要手动修改如下配置。
    1. 修改所有Master节点的web和cas服务的session超时时间。
      1. 修改/opt/Bigdata/tomcat/webapps/cas/WEB-INF/web.xml中的<session-timeout>20</session-timeout>,值的单位为分钟。
      2. 修改/opt/Bigdata/tomcat/webapps/web/WEB-INF/web.xml中的<session-timeout>20</session-timeout>,值的单位为分钟。
    2. 修改所有Master节点的cas的TGT有效时长。

      修改/opt/Bigdata/tomcat/webapps/cas/WEB-INF/spring-configuration/ticketExpirationPolicies.xml中的p:maxTimeToLiveInSeconds="${tgt.maxTimeToLiveInSeconds:1200}"和p:timeToKillInSeconds="${tgt.timeToKillInSeconds:1200}"中的1200为对应的超时时长,值的单位是秒。

    3. 在主Master节点重启tomcat服务。
      1. 在主master节点上用omm用户执行netstat -anp |grep 28443 |grep LISTEN查询tomcat的进程号。
      2. 执行kill -9 {pid},其中{pid}为上一步中查询到的进程号。
      3. 等待进程自动重启,可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动,如果可以查到结果说明进程启动成功。
    4. 为各组件添加或修改配置项,配置项的值与超时时间一致,单位为秒。
      • HDFS/MapReduce/Yarn:添加自定义配置项http.server.session.timeout.secs
      • Spark:修改配置spark.session.maxAge的值
      • Hive:添加自定义配置项http.server.session.timeout.secs

      保存配置项时可选择不重启受影响的服务或实例,等待业务不繁忙时再重启服务或实例。

相关文档