方案概述

应用场景

该方案帮助您基于DataX快速实现异构数据源之间的高效同步迁移上云。它是一款开源、高效、易用的异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。

方案架构

该解决方案基于华为云部署DataX数据库迁移环境，帮助您在华为云上快速实现异构数据源之间的高效同步迁移。解决方案架构图如下：

图1 方案架构图

部署该方案中需要使用的资源：

• 创建一台Flexus云服务器X实例，部署数据库迁移的DataX同步环境。
• 创建一个弹性公网IP EIP，并绑定到云服务器，用于提供访问公网和被公网访问能力。
• 创建安全组，通过配置安全组规则，为云服务器提供安全防护。

方案优势

• 并行执行

  采用了分布式架构和多线程技术，能够并行地从多个数据源抽取数据，并同时将数据加载到目标数据源中，大大提高了数据同步的效率。

• 易配置管理

  DataX 提供了直观的 JSON 配置文件格式，用户只需编写简单的配置文件，指定数据源、目标数据源、数据转换规则等信息，即可启动数据同步任务。

• 数据转换处理灵活

  在数据同步过程中，DataX 提供了丰富的数据转换功能。可以进行字段映射、数据清洗、格式转换、数据过滤等操作，确保数据在不同数据源之间的一致性和准确性。

约束与限制

• 该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。

• 如果选用IAM委托权限部署资源，请确保使用的华为云账号有IAM的足够权限，具体请参考创建rf_admin_trust委托；如果使用华为主账号或admin用户组下的IAM子账户可不选委托，将采用当前登录用户的权限进行部署。