更新时间:2023-03-17 GMT+08:00

MRS集群更换磁盘(适用于3.x)

用户问题

磁盘无法访问。

问题现象

客户创建本地盘系列MRS集群,其中1个Core节点的磁盘存在硬件损坏,导致读取文件失败。

原因分析

磁盘硬件故障。

处理步骤

该指导适用于本地盘系列(d/i/ir/ki系列)MRS集群,针对Core、Task类型节点的磁盘存在硬件故障。

Kafka组件不支持更换磁盘,如果存储Kafka数据的节点故障,请联系技术支持处理。

  1. 登录。
  2. 选择“主机”并单击故障主机的“主机名称”,在“实例”列表中单击DataNode,选择“更多 > 退服”。

    • 该主机下若存在DataNode、NodeManager、RegionServer和ClickHouseServer实例,请参考该步骤进行退服操作;
    • MRS 3.1.2版本之后支持退服ClickHouseServer角色实例。

  3. 选择“主机”并勾选故障主机“主机名称”前的复选框,选择“更多 > 停止所有实例”。
  4. 执行vim /etc/fstab命令编辑注释旧磁盘的挂载点。

    图1 注释旧磁盘的挂载点

  5. 如果旧磁盘仍可访问,迁移旧磁盘上(例如:/srv/BigData/data1/)的用户自有数据。

    cp -r 旧磁盘挂载点 临时数据保存目录

    例如:cp -r /srv/BigData/data1 /tmp/

  6. 登录MRS管理控制台。
  7. 在集群详情页面,选择“节点管理”。
  8. 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。
  9. 联系支持人员在后台更换磁盘。
  10. 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。
  11. 初始化Linux数据盘。
  12. 执行lsblk命令,查看新增磁盘分区信息。

    图2 查看新增磁盘(分区)

  13. 使用df -TH获取文件系统类型。

    图3 获取文件系统类型

  14. 使用对应的文件系统类型对新磁盘(分区)进行格式化。

    例如:mkfs.ext4 /dev/sdd1

  15. 执行如下命令挂载新磁盘。

    mount 新磁盘 挂载点

    例如:mount /dev/sdd1 /srv/BigData/data1

    如果挂载不上,请执行如下命令重载配置后重新挂载。

    systemctl daemon-reload

  16. 执行如下命令为新磁盘增加omm用户权限。

    chown omm:wheel 挂载点

    例如:chown -R omm:wheel /srv/BigData/data1

  17. 将旧磁盘上(例如:/srv/BigData/data1/)的用户自有数据迁移到新磁盘上。

    cp -r临时数据保存目录 新磁盘挂载点

    例如:cp -r /tmp/data1/* /srv/BigData/data1/

  18. 在fstab文件中新增新磁盘UUID信息。

    1. 使用blkid命令查看新磁盘的UUID。

    2. 打开“/etc/fstab”文件,新增如下信息:
      UUID=新盘UUID /srv/BigData/data1 ext4 defaults,noatime,nodiratime,nodev 1 0

  19. 登录。
  20. 选择“主机”并单击需要入服主机的“主机名称”,在“实例”列表中单击DataNode,选择“更多 > 入服”。

    • 该主机下若存在DataNode、NodeManager、RegionServer和ClickHouseServer实例,请参考该步骤进行入服操作;
    • MRS 3.1.2版本之后支持入服ClickHouseServer角色实例。

  21. 选择“主机”,并勾选故障主机“主机名称”前的复选框,选择“更多 > 启动所有实例”。
  22. 选择“集群 > HDFS”,在“概览”页签的“基本信息”模块查看“丢失块数”是否为“0”。

    • “丢失块数”是为“0”,则操作完成。
    • “丢失块数”不为“0”,请联系支持人员进行处理。