更新时间:2024-11-25 GMT+08:00
分享

备份Doris业务数据

操作场景

为了确保Doris日常用户的业务数据安全,或者集群用户需要对Doris进行重大操作(如升级或迁移等)时,需要对Doris数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。

集群用户可以通过FusionInsight Manager创建自动或手动任务备份Doris数据。

该章节仅适用于MRS 3.3.1及之后版本集群。

前提条件

  • 如果数据要备份至远端HDFS中,需满足以下条件:
    • 需要准备一个用于备份数据的备集群,认证模式需要与主集群相同。
    • 主集群内至少需要部署一个Doris服务的DBroker实例。
    • 如果主备集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主备集群部署为普通模式,则不需要配置互信。
    • 备集群上的时间必须与主集群一致,而且主备集群上的NTP服务必须使用同一个时间源。
    • 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。
    • 需确保主备集群中Doris和HDFS的“hadoop.rpc.protection”配置项的值保持一致。
  • 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录等策略规格。
  • 如果数据要备份至OBS中,需要当前Doris集群已对接OBS,并具有访问OBS的权限。

备份Doris业务数据

  1. 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。
  2. 单击“创建”。
  3. 在“任务名称”填写备份任务的名称。
  4. 在“备份对象”选择待操作的集群。
  5. 在“备份类型”选择备份任务的运行类型,包括:

    • 周期备份:表示按周期自动执行备份,若选择周期备份,还需参考表1配置其他参数。
    • 手动备份:表示由手工执行备份。
    表1 周期备份参数

    参数名称

    描述

    开始时间

    任务第一次启动的时间。

    周期

    任务下次启动与上一次运行的时间间隔,支持按“小时”或按“天”。

    备份策略

    • 首次全量备份,后续增量备份
    • 每次都全量备份
    • 每n次进行一次全量备份
    说明:

    Doris目前仅支持“每次都全量备份”,不支持增量备份。

  6. 在“备份配置”,勾选“业务数据”下的“Doris”。
  7. 在“Doris ”的“路径类型”,选择一个备份目录的类型。

    表2 Doris路径类型

    路径类型

    参数说明

    RemoteHDFS

    表示将备份文件保存在备集群的HDFS目录,选择此参数值,还需要配置以下参数:

    • “目的端NameService名称”:填写备集群的NameService名称。可在备集群HDFS服务的“管理NameService”页面获取,例如“hacluster”。
    • “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。
    • “目的端NameNode IP地址”:填写备集群主NameNode业务平面IP地址。
    • “目的端NameNode RPC端口”:填写目的端集群HDFS配置“dfs.namenode.rpc.port”的参数值。
    • “DBroker IP地址”:填写一个本集群DBroker角色的业务平面IP地址,该DBroker将用于备份时传输数据。
    • “目的端路径”:填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照或回收站目录;也不支持默认的系统目录,例如“/hbase”或“/user/hbase/backup”。

    OBS

    表示将备份文件保存在OBS目录,还需配置“目的端路径”参数,值为保存备份数据的OBS目录。

  8. 在“最大恢复点个数”填写备份任务在本集群中备份可保留的快照数量。
  9. 在“备份内容”中,选择一个或多个需要备份的Doris表。

    支持两种方式选择备份数据:

    • 添加备份数据文件

      单击导航中某个数据库的名称,将展开显示此数据库中的所有表,勾选指定的表。

    • 正则表达式筛选
      1. 单击“正则表达式输入”。
      2. 根据界面提示,在第一个输入框填入Doris表所在的数据库,需要与当前存在的数据库完全匹配,例如“/example_db”。
      3. 在第二个框输入正则表达式,支持标准正则表达式。例如要筛选数据库中包含test关键字的所有的表,输入“.*test.*”。
      4. 单击“刷新”,在“目录名称”查看筛选的表。
      5. 单击“同步”保存筛选结果。
      • 输入正则表达式时,可以使用增加或删除一条表达式。
      • 如果已选择的表或目录不正确,可以单击“清除选中节点”清除勾选。

  10. 单击“校验”查看备份任务的配置是否正确。

    校验失败可能存在以下原因:

    • 目的端NameNode IP地址不正确。
    • NameService名称不正确。
    • 待备份表不存在。
    • 待备份表格式不正确,要选择到具体的表。
    • 待备份表需要来自同一个数据库。

  11. 单击“确定”保存。
  12. 在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。

    备份任务执行完成后,系统自动在备集群的备份路径中为每个备份任务创建子目录,目录名为“备份任务名_数据源_任务创建时间”,数据源每次备份的最新备份文件保存在此目录中。所有备份文件集保存在对应的快照目录中。

相关文档