# 安装补丁 #### 安装补丁 1. 登录[MRS管理控制台](https://console.huaweicloud.com/mrs/)。 2. 选择"现有集群"，选中需要安装补丁的集群并单击集群名，进入集群基本信息页面。 3. 进入"补丁管理"页面，在操作列表中单击"安装"。 4. 进入"安装补丁"页面，阅读补丁说明，并单击"确定"。 图1安装补丁 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002514969305.png "点击放大") ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/notice_3.0-zh-cn.png) - 请确保集群允许**root** 登录，并且所有节点的**root**密码一致。 - 如果任务失败，选择"重试安装"，只有当"状态"显示为"已安装"时，才能进入下一步操作。 - 升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。 #### 修改配置 - **支持HDFS单副本检测能力** 在MRS 3.1.0.0.2补丁以及之后的补丁中，会增加HDFS单副本检测和告警能力，新增是否允许写入单副本数据配置项"dfs.single.replication.enable"，对于新建集群该值配置为"false"，因为HDFS单副本并不属于MRS服务SLA保障范围。但是对于存量集群，为了考虑兼容性，补丁安装完成后"dfs.single.replication.enable"配置项值为"true"，保证业务不受影响，建议补丁完成后对于没有单副本诉求时手动修改为"false"后滚动重启HDFS服务，保证HDFS数据的高可靠。对于确定存在单副本诉求的文件也可通过"dfs.single.replication.exclude.pattern"配置项设置单副本的数据文件和目录。 1. 在MRS管理控制台，选择"服务管理 \> HDFS \> 服务配置 \> 全部配置"，在右上角搜索"dfs.single.replication.enable"，查看该参数值是否为"false"。 - 是，检查结束。 - 否，请确认集群是否有单副本诉求，若没有则执行[2]。 ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png) 也可登录FusionInsight Manager界面，选择"集群 \> 服务 \> HDFS \> 配置 \> 全部配置"，在右上角搜索"dfs.single.replication.enable"参数查看。 登录集群Manager具体操作，请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。 2. 将"dfs.single.replication.enable"参数值设置为"false"，并保存配置。 - Spark新增特性Parquet/ORC分区表场景下的可选配置。 MRS 3.1.0.0.8以及之后的补丁Spark新增在Parquet/ORC分区表场景下，执行**insert**相关命令时，提供一个可选配置"spark.sql.hive.convertInsertingPartitionedTable"，用于控制Spark DataSource/Hive逻辑，默认值为"false"即使用Hive逻辑。如需使用Spark DataSource逻辑，需将此配置改为"true"。 配置方法：在"spark-defaults.conf"中新增以上配置或通过**set spark.sql.hive.convertInsertingPartitionedTable=true**命令在Spark会话中配置。 #### 重启相关组件 补丁安装完成后，需要手动重启相关大数据组件服务，使补丁生效。 提供两种重启方式，请根据业务自行选择重启方式： - 滚动重启：影响小，耗时长。 - 离线重启：会断服，耗时短。 1. 登录[MRS管理控制台](https://console.huaweicloud.com/mrs/)或者登录MRS集群Manager界面，具体操作请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。 2. 重启相关组件，可以采用重启集群或者重启组件方式。 - 方式一（推荐）：重启集群，建议在业务空闲时间重启。 在FusionInsight Manager界面，选择"集群 \> 概览 \> 更多"，重启集群或者滚动重启集群，具体操作请参考[重启MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0579.html)。 - 方式二：重启组件，必须按照[表1]中列出来的组件顺序，依次重启组件。 在FusionInsight Manager界面重启组件：选择"集群 \> 服务 \> *待操作的服务名称*"，单击右上角的"更多"，选择"重启服务"或"滚动重启服务"。 在MRS控制台重启组件：选择"现有集群"，单击集群名称进入集群详情页面。单击"组件管理"，选择需要重启的服务，进入服务页面。在"服务状态"页签单击"更多"，选择"重启服务"或"滚动重启服务"。 升级路径不一样重启的组件不一样，详见[表1]。 ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/caution_3.0-zh-cn.png) 如果是跨补丁版本升级，需要重启的组件为各版本重启组件的合集。 表1重启组件 | 集群当前补丁版本 | 目标补丁版本 | 重启的组件 | |:---|:---|:---| | MRS 3.1.0 | MRS 3.1.0.0.1 | 建议重启集群，如果重启组件，请按照组件的顺序依次重启，涉及的组件有： DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。 | | MRS 3.1.0.0.1 | MRS 3.1.0.0.8 | 建议重启集群，如果重启组件，请按照组件的顺序依次重启，涉及的组件有： ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。 | | MRS 3.1.0.0.8 | MRS 3.1.0.0.9 | 建议重启集群，如果重启组件，请按照组件的顺序依次重启，涉及的组件有： ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。 | | MRS 3.1.0.0.9 | MRS 3.1.0.0.10 | 建议重启集群，如果重启组件，请按照组件的顺序依次重启，涉及的组件有： ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。 | | MRS 3.1.0.0.10 | MRS 3.1.0.0.11 | 建议重启集群，如果重启组件，请按照组件的顺序依次重启，涉及的组件有： ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。 | | MRS 3.1.0.0.11 | MRS 3.1.0.0.12 | 建议重启集群，如果重启组件，请按照组件的顺序依次重启，涉及的组件有： ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。 | | MRS 3.1.0.0.12 | MRS 3.1.0.0.15 | 建议重启集群，如果重启组件，请按照组件的顺序依次重启，涉及的组件有： ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、ClickHouse、Sqoop。 | | MRS 3.1.0.0.15 | MRS 3.1.0.0.16 | 建议重启集群，如果重启组件，请按照组件的顺序依次重启，涉及的组件有： ZooKeeper、DBService、HDFS、Yarn、MapReduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Kudu、Presto、Impala、Flink、Flume、Hue、meta、Oozie、Loader、ClickHouse、HetuEngine、Sqoop | 表2重启策略以及影响 | **组件** | **重启策略** | **影响范围** | **影响时间** | |:---|:---|:---|:---| | meta | 直接重启 | Yarn超大频率获取临时AKSK时可能触发流控，正常场景不涉及 | 耗时约5分钟 | | meta | 滚动重启 | 滚动重启不影响业务 | 滚动重启10个节点耗时约20分钟 | | DBService | 直接重启 | 重启期间影响Hive获取元数据，影响组件获取配置 | 直接重启耗时约5分钟 | | DBService | 滚动重启 | 滚动重启不影响业务 | 滚动重启耗时约10分钟 | | Ranger | 直接重启 | 重启期间无法进行鉴权操作，影响需要鉴权的组件或作业 | 直接重启耗时约5分钟 | | Ranger | 滚动重启 | 滚动重启不影响业务 | 滚动重启耗时约10分钟 | | HDFS | 直接重启 | 重启期间无法进行HDFS读写，影响上层组件与作业 | 直接重启耗时约10分钟 | | HDFS | 滚动重启 | 滚动重启不影响业务 | 滚动重启10节点耗时约40分钟 | | HBase | 直接重启 | 重启期间无法进行HBase数据读写 | 直接重启耗时约5分钟 | | HBase | 滚动重启 | 重启时客户端重试连接其他节点，不影响整体服务 | 滚动重启10个节点耗时约30分钟 | | Hive | 直接重启 | 重启期间无法运行HiveSQL | 直接重启耗时约5分钟 | | Hive | 滚动重启 | HiveServer滚动重启时，若仍有客户端连接到滚动重启的HiveServer上，客户端正在运行的任务将失败 重启Hive服务期间，若仍有客户端连接HiveServer提交任务，可能导致任务运行失败 | HiveServer滚动重启时，将等待客户端连接断开，最长等待30分钟 | | Mapreduce | 直接重启 | 重启期间无法访问作业历史页面查看历史任务信息，不影响作业运行 | 直接重启耗时约5分钟 | | Mapreduce | 滚动重启 | 滚动重启不影响业务 | 滚动重启耗时约10分钟 | | Yarn | 直接重启 | 直接重启期间，不可新提交任务，正在运行Spark、Flink任务有重试机制不受影响 | 直接重启耗时约5分钟 | | Yarn | 滚动重启 | 依赖NM的 remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败 | 滚动重启10节点耗时约25分钟 | | Spark2x | 直接重启 | 仅影响Spark thrift任务，SparkSQL、Spark Submit任务不受影响 | 直接重启耗时约5分钟 | | Spark2x | 滚动重启 | 滚动重启不影响任务 | 滚动重启2个实例约10分钟 | | Flink | 直接重启 | 仅影响Flink Server任务，Flink Jar、Flink SQL任务不受影响 | 直接重启耗时约5分钟 | | Flink | 滚动重启 | 不支持滚动重启 | - | | Clickhouse | 直接重启 | 重启时正在运行的任务将失败，重启期间无法提交新任务 | 直接重启耗时约10分钟 | | Clickhouse | 滚动重启 | 滚动重启时运行在重启实例上的任务将失败，可以向其他节点提交任务 | 10个节点耗时约50分钟 | | Flume | 直接重启 | 停止期间数据流中断，启动后恢复 | 直接重启耗时约5分钟 | | Flume | 滚动重启 | 滚动重启时，重启节点数据流将停止，启动后恢复 | 滚动重启10个节点耗时约30分钟 | | Hue | 直接重启 | 重启期间Hue页面无法访问 | 直接重启耗时约5分钟 | | Hue | 滚动重启 | 不支持滚动重启 | - | | Loader | 直接重启 | 重启期间无法提交作业 | 直接重启耗时约5分钟 | | Loader | 滚动重启 | 不支持滚动重启 | - | | Kafka | 直接重启 | 直接重启业务会中断 | 直接重启耗时约5分钟。 | | Kafka | 滚动重启 | 需要提前查看Broker各实例数据同步正常，可以参考Kafka的监控指标"未完全同步的Partition总数"进行查看。 Kafka滚动重启过程中，建议设置客户端Producer的配置参数"acks"的值为"-1"（配置方式和其他Producer配置参数的配置方式一致），否则在逐个重启Broker实例的瞬间有丢失少量数据的风险。设置"acks"为"-1"在提升数据可靠性的同时会导致Producer吞吐量降低，因此滚动重启完成后，建议恢复Producer的"acks"配置原值。 | 滚动重启10个节点耗时约10分钟。 | | ZooKeeper | 直接重启 | 直接重启业务会中断 | 直接重启耗时约5分钟 | | ZooKeeper | 滚动重启 | 滚动重启前请分析集群。ZooKeeper客户端连接数规格是否满足"maxCnxns"、"maxClientCnxns"参数配置要求，否则适当调整参数值使满足系统要求。可以通过各quorumpeer实例"ZooKeeper服务客户端资源连接状况"监控值分析，当规格不满足要求时，增大如上服务端参数配置值即可。 | 滚动重启3个节点耗时约15分钟。 | | Guardian | 直接重启 | 请求Guardian失败，任务拿不到访问OBS的aksk | 直接重启耗时约5分钟 | | Guardian | 滚动重启 | 滚动重启无影响 | 滚动重启10个节点耗时约10分钟 | | IoTDB | 直接重启 | 重启期间无法进行数据的写入 | 直接重启耗时约5分钟 | | IoTDB | 滚动重启 | 会影响数据的写入，在滚动重启前需停止写入数据 | 滚动重启10个节点耗时约10分钟 | | HetuEngine | 直接重启 | 客户端无法访问，但正在运行的业务不受影响。 | 直接重启耗时约5分钟 | | HetuEngine | 滚动重启 | 不影响业务。 | 滚动重启10个节点耗时约10分钟 | | HetuEngine计算实例 | 直接重启 | 计算实例重启期间无法执行SQL任务。 | 直接重启耗时约5分钟。 | | HetuEngine计算实例 | 滚动重启 | 不支持滚动重启。 | - | | MemArtsCC | 直接重启 | 重启期间无法使用缓存数据，影响上层组件性能 | 直接重启耗时3\~5分钟 | | MemArtsCC | 滚动重启 | 重启时仅部分缓存数据不可读，不影响整体业务 | 滚动重启耗时约10分钟，节点数越多时间越长 | | Kudu | 直接重启 | 重启期间无法访问Kudu表，影响作业。 | 直接重启耗时约1分钟 | | Kudu | 滚动重启 | 不支持滚动重启。 | - | | Impala | 直接重启 | 重启期间无法使用Impala查询表，影响作业执行。 | 直接重启耗时约3\~5分钟 | | Impala | 滚动重启 | 不支持滚动重启。 | - | | Presto | 直接重启 | 重启期间无法提交新SQL，正在运行的SQL会失败。 | 直接重启耗时约3\~5分钟 | | Presto | 滚动重启 | 不支持滚动重启 | - | | Sqoop | 直接重启 | 不影响业务。 | 直接重启耗时1\~2分钟 | | Sqoop | 滚动重启 | 不支持滚动重启 | - | | Oozie | 直接重启 | 运行中的任务不受影响，重启期间无法提交新任务 | 直接重启耗时约5分钟 | | Oozie | 滚动重启 | 不支持滚动重启 | - | | tez | 直接重启 | 只影响查看任务页面 | 直接重启耗时约5分钟 | | tez | 滚动重启 | 不支持滚动重启 | - |