安装补丁
安装补丁
- 登录MRS管理控制台。
- 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。
- 进入“补丁管理”页面，在操作列表中单击“安装”。
- 进入“警告”页面，阅读补丁说明，并单击“确定”。
图1 安装补丁
- 请确保集群允许root登录，并且所有节点的root密码一致。
- 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。
- 升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。
修改配置
- MRS_3.2.0-LTS.1.6以及之后补丁，Spark支持视图表权限控制，开启方法（若之前有设置过，则跳过）：在JDBCServer的自定义custom参数添加spark.ranger.plugin.viewaccesscontrol.enable值为true，并添加参数spark.ranger.plugin.viewaccesscontrol.enable=true到客户端目录下“Spark2x/spark/conf/spark-defaults.conf”配置文件中，重启JDBCServer实例。
- MRS_3.2.0-LTS.1.6以及之后补丁，Spark支持子查询字段不带聚合函数语法，开启方法（若之前有设置过，则跳过）：在JDBCServer的自定义custom参数添加spark.sql.legacy.correlated.scalar.query.enabled参数值为true，并添加参数spark.sql.legacy.correlated.scalar.query.enabled=true到客户端目录下“Spark2x/spark/conf/spark-defaults.conf”配置文件中，重启JDBCServer实例。
- MRS_3.2.0-LTS.1.10以及之后补丁，修复管控面提交Spark长稳业务中业务jar包和业务表在同一个OBS桶下偶现OBS 403认证过期问题，开启方法（若之前有设置过，则跳过）：在Master节点通过ps -ef | grep executor命令确定executor进程ID，并添加参数executor.spark.launcher.obs.user-agency.enabled=true到对应Master节点的executor组件目录下“/opt/executor/webapps/executor/WEB-INF/classes/servicebroker.xm”配置文件中，然后执行kill -9 executor进程ID，重启executor进程，确认管控面提交的作业运行日志中打印的参数值是否已生效。注意：配置过程中会影响管控面提交作业，请按需配置。
重启相关组件
补丁安装完成后，需要手动重启相关大数据组件服务，使补丁生效。
提供两种重启方式，请根据业务自行选择重启方式：
- 滚动重启：影响小，耗时长。
- 离线重启：会断服，耗时短。
- 登录MRS管理控制台或FusionInsight Manager界面。
- 重启相关组件。
- 在MRS控制台，选择“现有集群”，单击集群名称进入集群详情页面。单击“组件管理”，选择需要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。
- 在FusionInsight Manager界面，选择“集群 > 服务 > 待操作的服务名称”，单击右上角的“更多”，选择“重启服务”或“滚动重启服务”。
升级路径不一样重启的服务不一样，详情见如下表格。
如果是跨补丁版本升级，需要重启的组件为各版本重启组件的合集。
表1 重启组件 集群当前补丁版本
目标补丁版本
重启的组件
MRS 3.2.0-LTS.1
MRS 3.2.0-LTS.1.8
ZooKeeper、HDFS、Yarn、Mapreduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Flink、Flume、Hue、meta、Guardian、Loader、ClickHouse、HetuEngine、CDL和IoTDB服务
MRS 3.2.0-LTS.1.8
MRS 3.2.0-LTS.1.9
ZooKeeper、DBService、HDFS、Yarn、Mapreduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Flink、Flume、Hue、meta、Guardian、Loader、ClickHouse、HetuEngine、CDL和IoTDB服务
MRS 3.2.0-LTS.1.9
MRS 3.2.0-LTS.1.10
ZooKeeper、DBService、HDFS、Yarn、Mapreduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Flink、Flume、Hue、meta、Guardian、Loader、ClickHouse、HetuEngine、Oozie、CDL和IoTDB服务
表2 重启策略以及影响 组件名称
重启策略
影响范围
影响时间
meta
直接重启
Yarn超大频率获取临时AKSK时可能触发流控，正常场景不涉及。
耗时约5分钟。
滚动重启
滚动重启不影响业务。
滚动重启10个节点耗时约20分钟。
DBService
直接重启
重启期间影响Hive获取元数据，影响组件获取配置。
直接重启耗时约5分钟。
滚动重启
滚动重启不影响业务。
滚动重启耗时约10分钟。
Ranger
直接重启
重启期间无法进行鉴权操作，影响需要鉴权的组件或作业。
直接重启耗时约5分钟。
滚动重启
滚动重启不影响业务。
滚动重启耗时约10分钟。
HDFS
直接重启
重启期间无法进行HDFS读写，影响上层组件与作业。
直接重启耗时约10分钟。
滚动重启
滚动重启不影响业务。
滚动重启10节点耗时约40分钟。
HBase
直接重启
重启期间无法进行HBase数据读写。
直接重启耗时约5分钟。
滚动重启
重启时客户端重试连接其他节点，不影响整体服务。
滚动重启10个节点耗时约30分钟。
Hive
直接重启
重启期间无法运行HiveSQL。
直接重启耗时约5分钟。
滚动重启
HiveServer滚动重启时，若仍有客户端连接到滚动重启的HiveServer上，客户端正在运行的任务将失败。
HiveServer滚动重启时，将等待客户端连接断开，最长等待30分钟。
Mapreduce
直接重启
重启期间无法访问作业历史页面查看历史任务信息，不影响作业运行。
直接重启耗时约5分钟。
滚动重启
滚动重启不影响业务。
滚动重启耗时约10分钟。
Yarn
直接重启
直接重启期间，不可新提交任务，正在运行Spark、Flink任务有重试机制不受影响。
直接重启耗时约5分钟。
滚动重启
依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。
滚动重启10节点耗时约25分钟。
Spark/Spark2x
直接重启
仅影响Spark Thrift任务，SparkSQL、Spark Submit任务不受影响。
直接重启耗时约5分钟。
滚动重启
滚动重启不影响任务。
滚动重启2个实例约10分钟。
Flink
直接重启
仅影响Flink Server任务，Flink Jar、Flink SQL任务不受影响。
直接重启耗时约5分钟。
滚动重启
不支持滚动重启。
-
ClickHouse
直接重启
重启时正在运行的任务将失败，重启期间无法提交新任务。
直接重启耗时约10分钟。
滚动重启
滚动重启时运行在重启实例上的任务将失败，可以向其他节点提交任务。
10个节点耗时约50分钟。
Flume
直接重启
停止期间数据流中断，启动后恢复。
直接重启耗时约5分钟。
滚动重启
滚动重启时，重启节点数据流将停止，启动后恢复。
滚动重启10个节点耗时约30分钟。
Hue
直接重启
重启期间Hue页面无法访问。
直接重启耗时约5分钟。
滚动重启
不支持滚动重启。
-
Sqoop
直接重启
重启期间无法提交作业。
直接重启耗时约5分钟。
滚动重启
不支持滚动重启。
-
Oozie
直接重启
运行中的任务不受影响，重启期间无法提交新任务。
直接重启耗时约5分钟。
滚动重启
不支持滚动重启。
-
Tez
直接重启
只影响查看任务页面。
直接重启耗时约5分钟。
滚动重启
不支持滚动重启。
-
HetuEngine
直接重启
客户端无法访问，但正在运行的业务不受影响。
直接重启耗时约5分钟。
滚动重启
不影响业务。
滚动重启10个节点耗时约10分钟。
HetuEngine计算实例
直接重启
计算实例重启期间无法执行SQL任务。
直接重启耗时约5分钟。
滚动重启
不支持滚动重启。
-
Doris
直接重启
重启时正在运行的任务将失败，重启期间无法提交新任务。
直接重启耗时约10分钟。
滚动重启
不支持滚动重启。
-
JobGateway
直接重启
重启过程中通过管理控制台提交作业会失败。
直接重启耗时约5分钟。
滚动重启
重启过程中通过管理控制台提交作业可能会失败。
滚动重启3个节点耗时约10分钟。
Kudu
直接重启
重启期间无法访问Kudu表，影响作业。
直接重启耗时约1分钟。
滚动重启
不支持滚动重启。
-
Impala
直接重启
重启期间无法使用Impala查询表，影响作业执行。
直接重启耗时约3~5分钟。
滚动重启
单个Impalad节点重启时，运行在该节点上的任务会失败，其它节点的任务不受影响。
滚动重启10个节点耗时约10分钟。
