MRS 2.1.0.10补丁说明
补丁基本信息
|
补丁号 |
MRS 2.1.0.10 |
|---|---|
|
发布时间 |
2020-09-21 |
|
解决的问题 |
MRS 2.1.0.10 修复问题列表： MRS Manager 解决安装补丁后扩容会导致capacity-schedule.xml中新增的队列配置丢失问题 回退全链路监控 大数据组件 解决spark操作hive赋权失败问题 解决不指定队列，默认提交到launcher-job队列，影响任务正常运行问题 |
|
MRS 2.1.0.9 修复问题列表： MRS Manager 解决MRS Executor内存溢出问题 优化扩容流程 解决sparkSql包含空格的情况拼接sql错误问题 解决偶现HiveSql作业提交失败问题 优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母，权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 |
|
|
MRS 2.1.0.8 修复问题列表： MRS Manager 解决委托访问OBS，ECS接口限流问题 MRS Manager支持多人登录 支持全链路监控 MRS大数据组件 carbon2.0升级 解决HBASE-18484问题 |
|
|
MRS 2.1.0.7 修复问题列表： MRS Manager 解决DLF+Presto查询时字段中包含换行符，数据和文件显示问题 支持presto查询结果保存成一个文件 |
|
|
MRS 2.1.0.6 修复问题列表： MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 |
|
|
MRS 2.1.0.5 修复问题列表： MRS大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题 |
|
|
MRS 2.1.0.3 修复问题列表： MRS Manager Manager executor高并发提交作业问题 MRS大数据组件 hive on tez插入数据失败问题 |
|
|
MRS 2.1.0.2 修复问题列表： MRS Manager nodeagent重启后不显示监控信息 长时间提交作业，manager executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 |
|
|
MRS 2.1.0.1 修复问题列表： MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。 MRS大数据组件 MRS Hive解决hive server内存泄露问题：HIVE-10970、HIVE-22275。 |
|
|
补丁兼容关系 |
MRS 2.1.0.10补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 |
|
已修复漏洞披露 |
解决Spark远程代码执行漏洞，漏洞详细请参考CVE-2020-9480 |
安装补丁的影响
- 安装MRS 2.1.0.10补丁期间会重启MRS Manager，滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。
- MRS 2.1.0.10补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。
- 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。
- 自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。
- 重新安装客户端前建议先对老客户端进行备份。
- 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。
- （可选）支持MRS Manager页面以及组件原生页面超时时间可配置，需要手动修改如下配置。
- 修改所有Master节点的web和cas服务的session超时时间。
- 修改/opt/Bigdata/tomcat/webapps/cas/WEB-INF/web.xml中的<session-timeout>20</session-timeout>，值的单位为分钟。
- 修改/opt/Bigdata/tomcat/webapps/web/WEB-INF/web.xml中的<session-timeout>20</session-timeout>，值的单位为分钟。
- 修改所有Master节点的cas的TGT有效时长。
修改/opt/Bigdata/tomcat/webapps/cas/WEB-INF/spring-configuration/ticketExpirationPolicies.xml中的p:maxTimeToLiveInSeconds="${tgt.maxTimeToLiveInSeconds:1200}"和p:timeToKillInSeconds="${tgt.timeToKillInSeconds:1200}"中的1200为对应的超时时长，值的单位是秒。
- 在主Master节点重启tomcat服务。
- 在主master节点上用omm用户执行netstat -anp |grep 28443 |grep LISTEN查询tomcat的进程号。
- 执行kill -9 {pid}，其中{pid}为上一步中查询到的进程号。
- 等待进程自动重启，可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动，如果可以查到结果说明进程启动成功。
- 为各组件添加或修改配置项，配置项的值与超时时间一致，单位为秒。
- HDFS/MapReduce/Yarn：添加自定义配置项http.server.session.timeout.secs
- Spark：修改配置spark.session.maxAge的值
- Hive：添加自定义配置项http.server.session.timeout.secs
保存配置项时可选择不重启受影响的服务或实例，等待业务不繁忙时再重启服务或实例。
- 修改所有Master节点的web和cas服务的session超时时间。
