回滚补丁
卸载补丁
登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。
当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。
- 如果任务失败,选择“重试卸载”,只有当“状态”显示为“可用”时,才能进入下一步操作。
- 卸载失败或者重试后仍然失败,不能直接再点安装,请联系运维人员。
回退升级补丁时增加的配置
不涉及。
重启相关组件
补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。
提供两种重启方式,请根据业务自行选择重启方式:
- 滚动重启:影响小,耗时长。
- 离线重启:会断服,耗时短。
- 登录MRS控制台或FusionInsight Manager界面。
- 重启相关组件,可以采用重启集群或者重启组件方式。
- 方式一(推荐):重启集群,建议在业务空闲时间重启。
在FusionInsight Manager界面,选择“集群 > 概览 > 更多”,重启集群或者滚动重启集群,具体操作请参考重启MRS集群。
- 方式二:重启组件,必须按照表1中列出来的组件顺序,依次重启组件。
在FusionInsight Manager界面重启组件:选择“集群 > 服务 > 待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。
在MRS控制台重启组件:选择“现有集群”,单击集群名称进入集群详情页面。单击“组件管理”,选择需要重启的服务,进入服务页面。在“服务状态”页签单击“更多”,选择“重启服务”或“滚动重启服务”。
升级路径不一样重启的组件不一样,详见表1。1.如果是跨补丁版本升级,需要重启的组件为各版本重启组件的合集。
表1 重启组件 集群当前补丁版本
目标补丁版本
重启的组件
MRS 3.1.0
MRS 3.1.0.0.1
建议重启集群,如果重启组件,请按照组件的顺序依次重启,涉及的组件有:
DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。
MRS 3.1.0.0.1
MRS 3.1.0.0.8
建议重启集群,如果重启组件,请按照组件的顺序依次重启,涉及的组件有:
ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。
MRS 3.1.0.0.8
MRS 3.1.0.0.9
建议重启集群,如果重启组件,请按照组件的顺序依次重启,涉及的组件有:
ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。
MRS 3.1.0.0.9
MRS 3.1.0.0.10
建议重启集群,如果重启组件,请按照组件的顺序依次重启,涉及的组件有:
ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。
MRS 3.1.0.0.10
MRS 3.1.0.0.11
建议重启集群,如果重启组件,请按照组件的顺序依次重启,涉及的组件有:
ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。
MRS 3.1.0.0.11
MRS 3.1.0.0.12
建议重启集群,如果重启组件,请按照组件的顺序依次重启,涉及的组件有:
ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。
MRS 3.1.0.0.12
MRS 3.1.0.0.15
建议重启集群,如果重启组件,请按照组件的顺序依次重启,涉及的组件有:
ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。
MRS 3.1.0.0.15
MRS 3.1.0.0.16
建议重启集群,如果重启组件,请按照组件的顺序依次重启,涉及的组件有:
ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、Loader、ClickHouse、HetuEngine、Sqoop
表2 重启策略以及影响 组件
重启策略
影响范围
影响时间
meta
直接重启
Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及
耗时约5分钟
滚动重启
滚动重启不影响业务
滚动重启10个节点耗时约20分钟
DBService
直接重启
重启期间影响Hive获取元数据,影响组件获取配置
直接重启耗时约5分钟
滚动重启
滚动重启不影响业务
滚动重启耗时约10分钟
Ranger
直接重启
重启期间无法进行鉴权操作,影响需要鉴权的组件或作业
直接重启耗时约5分钟
滚动重启
滚动重启不影响业务
滚动重启耗时约10分钟
HDFS
直接重启
重启期间无法进行HDFS读写,影响上层组件与作业
直接重启耗时约10分钟
滚动重启
滚动重启不影响业务
滚动重启10节点耗时约40分钟
HBase
直接重启
重启期间无法进行HBase数据读写
直接重启耗时约5分钟
滚动重启
重启时客户端重试连接其他节点,不影响整体服务
滚动重启10个节点耗时约30分钟
Hive
直接重启
重启期间无法运行HiveSQL
直接重启耗时约5分钟
滚动重启
HiveServer滚动重启时,若仍有客户端连接到滚动重启的HiveServer上,客户端正在运行的任务将失败
重启Hive服务期间,若仍有客户端连接HiveServer提交任务,可能导致任务运行失败
HiveServer滚动重启时,将等待客户端连接断开,最长等待30分钟
Mapreduce
直接重启
重启期间无法访问作业历史页面查看历史任务信息,不影响作业运行
直接重启耗时约5分钟
滚动重启
滚动重启不影响业务
滚动重启耗时约10分钟
Yarn
直接重启
直接重启期间,不可新提交任务,正在运行Spark、Flink任务有重试机制不受影响
直接重启耗时约5分钟
滚动重启
依赖NM的 remote shuffle Spark任务受影响,Flink任务有概率失败,Hive任务有概率失败
滚动重启10节点耗时约25分钟
Spark2x
直接重启
仅影响Spark thrift任务,SparkSQL、Spark Submit任务不受影响
直接重启耗时约5分钟
滚动重启
滚动重启不影响任务
滚动重启2个实例约10分钟
Flink
直接重启
仅影响Flink Server任务,Flink Jar、Flink SQL任务不受影响
直接重启耗时约5分钟
滚动重启
不支持滚动重启
-
Clickhouse
直接重启
重启时正在运行的任务将失败,重启期间无法提交新任务
直接重启耗时约10分钟
滚动重启
滚动重启时运行在重启实例上的任务将失败,可以向其他节点提交任务
10个节点耗时约50分钟
Flume
直接重启
停止期间数据流中断,启动后恢复
直接重启耗时约5分钟
滚动重启
滚动重启时,重启节点数据流将停止,启动后恢复
滚动重启10个节点耗时约30分钟
Hue
直接重启
重启期间Hue页面无法访问
直接重启耗时约5分钟
滚动重启
不支持滚动重启
-
Loader
直接重启
重启期间无法提交作业
直接重启耗时约5分钟
滚动重启
不支持滚动重启
-
Kafka
直接重启
直接重启业务会中断
直接重启耗时约5分钟。
滚动重启
需要提前查看Broker各实例数据同步正常,可以参考Kafka的监控指标“未完全同步的Partition总数”进行查看。
Kafka滚动重启过程中,建议设置客户端Producer的配置参数“acks”的值为“-1”(配置方式和其他Producer配置参数的配置方式一致),否则在逐个重启Broker实例的瞬间有丢失少量数据的风险。设置“acks”为“-1”在提升数据可靠性的同时会导致Producer吞吐量降低,因此滚动重启完成后,建议恢复Producer的“acks”配置原值。
滚动重启10个节点耗时约10分钟
ZooKeeper
直接重启
直接重启业务会中断
直接重启耗时约5分钟
滚动重启
滚动重启前请分析集群。ZooKeeper客户端连接数规格是否满足“maxCnxns”、“maxClientCnxns”参数配置要求,否则适当调整参数值使满足系统要求。可以通过各quorumpeer实例“ZooKeeper服务客户端资源连接状况”监控值分析,当规格不满足要求时,增大如上服务端参数配置值即可。
滚动重启3个节点耗时约15分钟
Guardian
直接重启
请求Guardian失败,任务拿不到访问OBS的aksk
直接重启耗时约5分钟
滚动重启
滚动重启无影响
滚动重启10个节点耗时约10分钟
IoTDB
直接重启
重启期间无法进行数据的写入
直接重启耗时约5分钟
滚动重启
会影响数据的写入,在滚动重启前需停止写入数据
滚动重启10个节点耗时约10分钟
HetuEngine
直接重启
客户端无法访问,但正在运行的业务不受影响。
直接重启耗时约5分钟
滚动重启
不影响业务。
滚动重启10个节点耗时约10分钟
HetuEngine计算实例
直接重启
计算实例重启期间无法执行SQL任务。
直接重启耗时约5分钟
滚动重启
不支持滚动重启。
-
MemArtsCC
直接重启
重启期间无法使用缓存数据,影响上层组件性能
直接重启耗时3~5分钟
滚动重启
重启时仅部分缓存数据不可读,不影响整体业务
滚动重启耗时约10分钟,节点数越多时间越长
Kudu
直接重启
重启期间无法访问Kudu表,影响作业。
直接重启耗时约1分钟
滚动重启
不支持滚动重启。
-
Impala
直接重启
重启期间无法使用Impala查询表,影响作业执行。
直接重启耗时约3~5分钟
滚动重启
不支持滚动重启。
-
Presto
直接重启
重启期间无法提交新SQL,正在运行的SQL会失败。
直接重启耗时约3~5分钟
滚动重启
不支持滚动重启
-
Sqoop
直接重启
不影响业务。
直接重启耗时1~2分钟
滚动重启
不支持滚动重启
-
Oozie
直接重启
运行中的任务不受影响,重启期间无法提交新任务
直接重启耗时约5分钟
滚动重启
不支持滚动重启
-
Tez
直接重启
只影响查看任务页面
直接重启耗时约5分钟
滚动重启
不支持滚动重启
-
- 方式一(推荐):重启集群,建议在业务空闲时间重启。