更新时间:2024-11-29 GMT+08:00

恢复CDL数据

操作场景

在用户意外修改、删除或需要找回数据时,系统管理员对CDL进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对CDL进行恢复数据操作。

CDL的元数据存储在DBService与Kafka服务中,系统管理员可以通过FusionInsight Manager创建恢复DBService与Kafka任务恢复CDL数据。只支持创建任务手动恢复数据。

  • 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。
  • 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService与Kafka数据。
  • MRS集群中默认使用DBService保存Hive、Hue、Loader、Spark、Metadata、Oozie、CDL和Redis的元数据。恢复DBService的数据将恢复全部相关组件的元数据。

对系统的影响

  • 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。
  • 数据恢复后,依赖DBService的组件可能配置过期,需要重启配置过期的服务。
  • 元数据恢复后,Kafka的消费者在ZooKeeper上保存的offset信息将会回退,可能导致重复消费。

前提条件

  • 如果需要从远端HDFS恢复数据,需要准备备集群。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。
  • 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能
  • 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。
  • 检查DBService主备实例状态是否正常。如果不正常,不能执行恢复操作。
  • 先停止Kafka服务,待恢复完成后,再启动Kafka服务。

操作步骤

  1. 在FusionInsight Manager,选择运维 > 备份恢复 > 备份管理
  2. 在任务列表指定任务的“操作”列,选择更多 > 查询历史,打开备份任务执行历史记录。

    在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息:

    • “备份对象”表示备份的数据源。
    • “备份路径”表示备份文件保存的完整路径。

      选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。

  3. 在FusionInsight Manager,选择运维 > 备份恢复 > 恢复管理
  4. 单击“创建”。
  5. 在“任务名称”填写恢复任务的名称。
  6. 在“恢复对象”选择待操作的集群。
  7. 在“恢复配置”,勾选“DBService”和“Kafka”。

    若安装了多个DBService或Kafka服务,请勾选需要恢复的DBservice、Kafka服务名称。

  8. 在“DBService”的“路径类型”,选择一个备份目录的类型。具体参数配置要求请参考8
  9. 在“Kafka”的“路径类型”,选择一个备份目录的类型。具体参数配置要求请参考8
  10. 单击“确定”保存。
  11. 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。

    • 恢复成功后进度显示为绿色。
    • 恢复成功后此恢复任务不支持再次执行。
    • 如果恢复任务在第一次执行时由于某些原因未执行成功,在排除错误原因后单击“重试”,重试恢复任务。