MRS 2.1.0.7补丁说明
补丁基本信息
补丁号 |
MRS 2.1.0.7 |
---|---|
发布时间 |
2020-07-15 |
解决的问题 |
MRS 2.1.0.7 修复问题列表: MRS Manager 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题 支持presto查询结果保存成一个文件 |
MRS 2.1.0.6 修复问题列表: MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 |
|
MRS 2.1.0.5 修复问题列表: MRS大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题 |
|
MRS 2.1.0.3 修复问题列表: MRS Manager Manager executor高并发提交作业问题 MRS大数据组件 hive on tez插入数据失败问题 |
|
MRS 2.1.0.2 修复问题列表: MRS Manager nodeagent重启后不显示监控信息 长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 |
|
MRS 2.1.0.1 修复问题列表: MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。 MRS大数据组件 MRS Hive解决hive server内存泄露问题:HIVE-10970、HIVE-22275。 |
|
补丁兼容关系 |
MRS 2.1.0.7补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 |
安装补丁的影响
- 安装MRS 2.1.0.7补丁期间会重启MRS Manager,滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。
- MRS 2.1.0.7补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。
- 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
- 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。
- 重新安装客户端前建议先对老客户端进行备份。
- 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。
- (可选)支持MRS Manager页面以及组件原生页面超时时间可配置,需要手动修改如下配置。
- 修改所有Master节点的web和cas服务的session超时时间。
- 修改/opt/Bigdata/tomcat/webapps/cas/WEB-INF/web.xml中的<session-timeout>20</session-timeout>,值的单位为分钟。
- 修改/opt/Bigdata/tomcat/webapps/web/WEB-INF/web.xml中的<session-timeout>20</session-timeout>,值的单位为分钟。
- 修改所有Master节点的cas的TGT有效时长。
修改/opt/Bigdata/tomcat/webapps/cas/WEB-INF/spring-configuration/ticketExpirationPolicies.xml中的p:maxTimeToLiveInSeconds="${tgt.maxTimeToLiveInSeconds:1200}"和p:timeToKillInSeconds="${tgt.timeToKillInSeconds:1200}"中的1200为对应的超时时长,值的单位是秒。
- 在主Master节点重启tomcat服务。
- 在主master节点上用omm用户执行netstat -anp |grep 28443 |grep LISTEN查询tomcat的进程号。
- 执行kill -9 {pid},其中{pid}为上一步中查询到的进程号。
- 等待进程自动重启,可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动,如果可以查到结果说明进程启动成功。
- 为各组件添加或修改配置项,配置项的值与超时时间一致,单位为秒。
- HDFS/MapReduce/Yarn:添加自定义配置项http.server.session.timeout.secs
- Spark:修改配置spark.session.maxAge的值
- Hive:添加自定义配置项http.server.session.timeout.secs
保存配置项时可选择不重启受影响的服务或实例,等待业务不繁忙时再重启服务或实例。
- 修改所有Master节点的web和cas服务的session超时时间。