更新时间:2024-09-04 GMT+08:00
恢复HDFS NameNode元数据
操作场景
在用户意外修改、删除或需要找回数据时,系统管理员对NameNode进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对NameNode进行恢复数据操作。
系统管理员可以通过FusionInsight Manager创建恢复NameNode任务并恢复数据。只支持创建任务手动恢复数据。
对系统的影响
- 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。
- 恢复数据后需要重启NameNode,重启完成前NameNode不可访问。
- 恢复数据后可能导致元数据与业务数据无法匹配,HDFS进入安全模式且HDFS服务启动失败。
前提条件
- 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份HDFS NameNode元数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。
- 主备集群必须已配置跨集群拷贝,请参见启用MRS集群间拷贝功能。
- 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。
- 在FusionInsight Manager停止所有待恢复数据的NameNode角色实例,其他的HDFS角色实例必须保持正常运行,恢复数据后重启NameNode。NameNode角色实例重启前无法访问。
- 检查NameNode备份文件保存路径是否保存在主管理节点“数据存放路径/LocalBackup/”。
恢复HDFS NameNode元数据
- 在FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例 > NameNode”,查看待恢复数据的NameNode角色实例是否已经停止,如果NameNode角色实例未停止,请单击“停止实例”停止NameNode角色实例运行。
- 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。
- 在任务列表指定任务的“操作”列,选择“更多 > 查询历史”,打开备份任务执行历史记录。
在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息:
- 在FusionInsight Manager,选择“运维 > 备份恢复 > 恢复管理”。
- 单击“创建”。
- 在“任务名称”填写恢复任务的名称。
- 在“恢复对象”选择待操作的集群。
- 在“恢复配置”,勾选“NameNode”。
- 在“NameNode”的“路径类型”,选择一个备份目录的类型。
选择不同的备份目录时,对应设置如下:
- “LocalDir”:表示备份文件保存在主管理节点的本地磁盘上。
- “RemoteHDFS”:表示备份文件保存在备集群的HDFS目录。
选择此参数值,还需要配置以下参数:
- “源端NameService名称”:填写备份数据集群的NameService名称。可以输入集群内置的远端集群的NameService名称:haclusterX,haclusterX1,haclusterX2,haclusterX3,haclusterX4;也可输入其他已配置的远端集群NameService名称。
- “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。
- “源端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。
- “源端路径”:填写备集群保存备份数据的完整HDFS路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。
- “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。
- “目标NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。
- “NFS”:表示将备份文件通过NFS协议保存在NAS中。选择此参数值,还需要配置以下参数:
- “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。
- “服务器IP地址”:填写NAS服务器IP地址。
- “源端路径”:填写备份文件在NAS服务器中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。
- “目标NameService名称”:选择备份目录对应的目标NameService名称。默认值为“hacluster”。
- “CIFS”:表示将备份文件通过CIFS协议保存在NAS中。选择此参数值,还需要配置以下参数:
- “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。
- “服务器IP地址”:填写NAS服务器IP地址。
- “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。
- “用户名”:填写配置CIFS协议时设置的用户名。
- “密码”:填写配置CIFS协议时设置的密码。
- “源端路径”:填写备份文件在NAS服务器中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。
- “目标NameService名称”:选择备份目录对应的目标NameService名称。默认值为“hacluster”。
- “SFTP”:表示备份文件通过SFTP协议保存在服务器中。
选择此参数值,还需要配置以下参数:
- “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。
- “服务器IP地址”:填写备份数据的服务器IP地址。
- “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。
- “用户名”:填写使用SFTP协议连接服务器时的用户名。
- “密码”:填写使用SFTP协议连接服务器时的密码。
- “源端路径”:填写备份文件在备份服务器中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。
- “目标NameService名称”:选择备份目录对应的目标NameService名称。默认值为“hacluster”。
- “OBS”:表示将备份文件保存在OBS中。
- “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。
- “NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。
MRS 3.1.0及之后版本才支持将备份文件保存到OBS。
- 单击“确定”保存。
- 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。
- 恢复成功后进度显示为绿色。
- 恢复成功后此恢复任务不支持再次执行。
- 如果恢复任务在第一次执行时由于某些原因未执行成功,在排除错误原因后单击“重试”,重试恢复任务。
- 在FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 更多 > 重启服务”。
在弹出窗口中输入当前登录的管理员密码确认管理员身份,单击“确定”。界面提示“操作成功。”,单击“完成”,服务成功启动。
父主题: 恢复MRS集群组件数据