更新时间:2023-03-17 GMT+08:00

备份Yarn资源池数据

操作场景

为了确保Yarn服务资源池相关信息的数据安全,MRS集群管理员可对Yarn相关数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。

MRS集群管理员可以通过FusionInsight Manager创建备份Yarn任务并备份数据,支持创建任务自动或手动备份数据。

由于资源池的信息也会存储在DBService中,因此在备份Yarn数据时需要手动触发一次DBService的备份。如果仅备份Yarn数据,那么将会造成Yarn存储在ZooKeeper中的数据和存储在DBService上的数据不一致。

前提条件

  • 如果数据要备份至远端HDFS中,需要准备一个用于备份数据的备集群,认证模式需要与主集群相同。其他备份方式不需要准备备集群。
  • 如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。
  • 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。
  • 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。
  • 如果数据要备份至NAS中,需要提前部署好NAS服务端。
  • 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。

操作步骤

  1. 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。
  2. 单击“创建”。
  3. 在“任务名称”填写备份任务的名称。
  4. 在“备份对象”选择待操作的集群。
  5. 在“备份类型”选择“手动备份”。

    “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。

  6. 在“备份配置”,勾选“元数据和其它数据”下的“Yarn”和“DBService”。

    • 由于资源池的信息也会存储在DBService中,因此在备份Yarn数据时需要手动触发一次DBService的备份。如果仅备份Yarn数据,那么将会造成Yarn存储在ZooKeeper中的数据和存储在DBService上的数据不一致。
    • 若安装了多个Yarn服务,默认备份所有Yarn服务,可单击“指定服务”指定需要备份的Yarn服务。

  7. 在“DBService”的“路径类型”,选择一个备份目录的类型。具体操作请参考备份DBService数据
  8. 在“Yarn”的“路径类型”,选择一个备份目录的类型。

    备份目录支持以下类型:
    • “LocalDir”:表示将备份文件保存在主管理节点的本地磁盘上,备管理节点将自动同步备份文件。

      默认保存目录为“数据存放路径/LocalBackup/”,例如“/srv/BigData/LocalBackup”。

      选择此参数值,还需要配置“最大备份数”,表示备份目录中可保留的备份文件集数量。

    • “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。
      选择此参数值,还需要配置以下参数:
      • “目的端NameService名称”:填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称(haclusterX,haclusterX1,haclusterX2,haclusterX3,haclusterX4),也可输入其他已配置的远端集群NameService名称。
      • “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。
      • “目的端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。
      • “目的端路径”:填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照或回收站目录;也不支持默认的系统目录。
      • “最大备份数”:填写备份目录中可保留的备份文件集数量。
      • “队列名称”:填写备份任务执行时使用的Yarn队列的名称。需和源集群中已存在且状态正常的队列名称相同。
    • “NFS”:表示将备份文件通过NFS协议保存在NAS中。
      选择此参数值,还需要配置以下参数:
      • “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。
      • “服务器IP地址”:填写NAS服务器IP地址。
      • “服务器共享路径”:填写用户配置的NAS服务器共享目录。
      • “最大备份数”:填写备份目录中可保留的备份文件集数量。
    • “CIFS”:表示将备份文件通过CIFS协议保存在NAS中。
      选择此参数值,还需要配置以下参数:
      • “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。
      • “服务器IP地址”:填写NAS服务器IP地址。
      • “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。
      • “用户名”:填写配置CIFS协议时设置的用户名。
      • “密码”:填写配置CIFS协议时设置的密码。
      • “服务器共享路径”:填写用户配置的NAS服务器共享目录。
      • “最大备份数”:填写备份目录中可保留的备份文件集数量。
    • “SFTP”:表示将备份文件通过SFTP协议保存到服务器中。

      选择此参数值,还需要配置以下参数:

      • “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。
      • “服务器IP地址”:填写备份数据的服务器IP地址。
      • “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。
      • “用户名”:填写使用SFTP协议连接服务器时的用户名。
      • “密码”:填写使用SFTP协议连接服务器时的密码。
      • “服务器共享路径”:SFTP服务器上的备份路径。
      • “最大备份数”:填写备份目录中可保留的备份文件集数量。
    • “OBS”:表示将备份文件保存在OBS中。

      选择此参数值,还需要配置以下参数:

      • “目的端路径”:填写保存备份数据的OBS目录。
      • “最大备份数”:填写备份目录中可保留的备份文件集数量。

        MRS 3.1.0及之后版本才支持备份数据到OBS。

  9. 单击“确定”保存。
  10. 在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。

    备份任务执行完成后,系统自动在备份目录中为每个备份任务创建子目录,目录名为“备份任务名_任务创建时间”,用于保存数据源的备份文件。备份文件的名称为版本号_数据源_任务执行时间.tar.gz