更新时间:2025-08-08 GMT+08:00
分享

补丁安装后操作

升级客户端

如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。

  1. 登录集群主节点并执行以下命令:

    cd /opt/Bigdata/patches/{MRS补丁版本号}/download/

  2. 将补丁安装包拷贝到客户端机器/opt/目录下:

    scp patch.tar.gz {客户端机器IP}:/opt/

    例如:

    scp patch.tar.gz 127.0.0.1:/opt/

  3. 登录客户端所在节点。
  4. 执行以下命令创建补丁目录并解压补丁包:

    mkdir /opt/{MRS补丁版本号}

    tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号}

  5. 执行客户端补丁升级。

    登录客户端所在节点,并执行以下命令:

    cd /opt/{MRS补丁版本号}/client

    sh upgrade_client.sh upgrade {客户端安装目录}

    例如:

    sh upgrade_client.sh upgrade /opt/client/

  6. 集群外客户端通过委托获取临时AKSK访问OBS场景下,需要在客户端所有core-site.xml中新增配置:

    <property>
    <name>fs.obs.auth.node-cache-short-circuit.enable</name>
    <value>true</value>
    </property>

    参数“fs.obs.auth.node-cache-short-circuit.enable”的不同配置控制是否允许访问ECS元数据接口,从而控制是否允许触发ECS流控。

    MRS集群支持通过委托获取临时AKSK访问OBS。临时AKSK通过ECS元数据接口获取。ECS元数据接口有单机器5分钟140次的流控阈值,触发流控后机器被加入黑名单,30分钟内不能再次请求元数据接口。为防止触发流控,MRS实现了节点级别跨进程的缓存服务meta,用于缓存临时AKSK。

    使用场景:适用于通过委托使用临时aksk访问OBS的Spark,Hadoop等Yarn作业。配置在客户端core-site.xml中。

    升级完默认配置变更为false,MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取临时AKSK,meta故障时也不直接访问ECS元数据接口,以免触发流控导致节点被加入黑名单。

    如果希望meta故障时,从ecs元数据接口获取临时AKSK,则将参数配置为true。

升级HDFS上组件的zip包

  1. 登录集群主节点并执行以下命令:

    su - omm

    cd /opt/Bigdata/patches/{MRS补丁版本号}/client/

    source /opt/Bigdata/client/bigdata_env

    所有涉及{MRS补丁版本号}目录名称的操作,均以实际安装的补丁号为准。

    例如:

    cd /opt/Bigdata/patches/MRS_3.1.0.0.16/client/

  2. 安全集群需要认证对HDFS有权限的用户,普通集群无需执行:

    kinit {用户}

  3. 执行以下命令升级HDFS上的zip包:

    sh update_hdfs_file.sh

  4. 升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。

升级组件安装包

该操作可以解决添加服务、添加实例、新下载客户端场景下的补丁安装。

  1. 登录集群主OMS节点,执行以下命令。

    su - omm

    cd /opt/Bigdata/patches/MRS_3.1.0.0.16/package

    sh update_package.sh

  2. 登录集群备OMS节点,执行以下命令。

    su - omm

    cd /opt/Bigdata/patches/MRS_3.1.0.0.16/package

    sh update_package.sh

安装MRS_3.1.0_Hadoop_Patch_20250624.tar.gz 补丁,补丁下载地址请参考:

华南-广州:https://mrs-container1-patch-cn-south-1.obs.cn-south-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_Hadoop_Patch_20250624.tar.gz

上海1:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_Hadoop_Patch_20250624.tar.gz

北京4:https://mrs-container1-patch-cn-north-4.obs.cn-north-4.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_Hadoop_Patch_20250624.tar.gz

北京1:https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_Hadoop_Patch_20250624.tar.gz

上海2:https://mrs-container1-patch-cn-east-2.obs.cn-east-2.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_Hadoop_Patch_20250624.tar.gz

香港:https://mrs-container1-patch-ap-southeast-1.obs.ap-southeast-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_Hadoop_Patch_20250624.tar.gz

重新打开指标共享

安装完此补丁后,如果之前集群已经开启指标共享功能,需要先单击关闭指标共享,再重新开启指标共享功能。

图1 开启集群指标共享

重新打开弹性伸缩

升级完补丁后需要重新打开弹性伸缩,操作如下:

  1. 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。
  2. 开启安装前关闭的弹性策略。

相关文档