文档首页/ 迁移中心 MGC/ 最佳实践/ 不使用EIP场景下进行大数据数据迁移
更新时间:2024-12-06 GMT+08:00
分享

不使用EIP场景下进行大数据数据迁移

本节介绍不具备公网场景下Edge通过SNAT/VPN等方式完成大数据迁移和对数的操作方法。本文以阿里云作为源端,Edge安装在阿里云ECS进行举例。

步骤一:配置华为云VPN

参考站点入云VPN企业版的华为云控制台操作步骤,分别配置VPN网关、对端网关以及VPN连接。

  1. 登录华为云管理控制台,选择“网络 > 虚拟专用网络 VPN”。
  2. 配置VPN网关。

    1. 在左侧导航树选择“虚拟专用网络 > 企业版-VPN网关”。
    2. 单击“创建站点入云VPN网关”,根据界面提示配置参数。
    3. 配置完成后,单击“立即购买”。

  3. 配置对端网关。需要创建主、备两个对端网关。

    1. 在左侧导航树选择“虚拟专用网络 > 企业版-对端网关”。
    2. 单击“创建对端网关”,根据界面提示配置参数。其,标识选择IP Address,并填写阿里云侧网关的公网IP。
    3. 配置完成后,单击“立即创建”。

  4. 配置VPN连接。创建两条VPN连接,分别连接华为云VPN网关和阿里云对端网关。

    1. 在左侧导航树选择“虚拟专用网络 > 企业版-VPN连接”。
    2. 单击“创建VPN连接”,选择已创建的VPN网关和对端网关,并填入对端网关的子网地址(确保子网地址不重合)。

      策略配置选择“自定义配置”,并确保配置信息与阿里云侧保持一致,以确保连通性。

    3. 配置完成后,单击“立即购买”。

步骤二:配置阿里云VPN

参考站点入云VPN企业版的阿里云控制台操作步骤,分别配置VPN网关、VPN连接以及路由信息。

  1. 登录阿里云管理控制台,选择“产品与服务 > 网络和CDN > 混合云网络 > VPN网关”。
  2. 配置VPN网关。

    1. 单击“创建VPN网关”,根据界面提示配置参数。
    2. 配置完成后,单击“立即购买”。

  3. 配置用户网关。

    1. 在左侧导航树选择“VPN > 用户网关”。
    2. 单击“创建用户网关”,根据界面提示配置参数。
    3. 配置完成后,单击“确定”。

  4. 配置VPN连接:

    1. 在左侧导航树选择“VPN > IPsec连接”。
    2. 单击“创建IPsec连接”,选择步骤2配置的VPN网关,并配置策略参数,确保与华为云侧的策略配置保持一致。
    3. 配置完成后,单击“确定”。

  5. 配置路由信息。在阿里云上增加到华为云VPC子网的路由信息。

    1. 在左侧导航树选择“VPN > VPN网关”。
    2. 单击VPN网关名称,在“目的路由表”页签下,单击“添加路由条目”,根据界面提示配置参数。

步骤三:创建阿里云NAT网关并配置

参考创建和管理公网NAT网关实例,创建阿里云NAT网关并配置SNAT和DNAT条目。

  1. 登录阿里云管理控制台,选择“产品与服务 > 网络和CDN > 混合云网络 > NAT网关”。
  2. 创建公网NAT网关。

    1. 在公网NAT网关页面,单击“创建公网NAT网关”,根据界面提示配置参数。
    2. 配置完成后,单击“立即购买”。

  3. 配置SNAT条目。

    1. 在公网NAT网关页面,找到步骤2创建的公网NAT网关实例,在操作列单击“设置SNAT”。
    2. 在SNAT管理页签,单击“创建SNAT条目”,根据界面提示配置参数。
    3. 配置完成后,单击“确定创建”。

  4. 配置DNAT条目。

    1. 在公网NAT网关页面,找到步骤2创建的公网NAT网关实例,在操作列单击“设置DNAT”。
    2. 在DNAT管理页签,单击“创建DNAT条目”,根据界面提示配置参数。
    3. 配置完成后,单击“确定创建”。

步骤四:配置安全组

需要分别在华为云和阿里云进行安全组配置。

  1. 在华为云控制台配置安全组,允许Edge所在主机的内网IP地址访问。

    1. 登录华为云管理控制台。
    2. 在服务列表,选择“网络 > 虚拟私有云”,进入虚拟私有云列表页面。
    3. 在左侧导航栏,选择“访问控制 > 安全组”,进入安全组列表页面。
    4. 在安全组列表中,找到集群所在的安全组,单击操作列的“配置规则”,进入安全组规则配置页面。
    5. 在“入方向规则”页签,单击“添加规则”,弹出“添加入方向规则”对话框。
    6. 需要添加一条允许通过TCP协议访问27080端口的规则。在源地址填写Edge所在主机的内网IP地址。

    7. 入方向规则设置完成后,单击“确定”。

  2. 在阿里云控制台配置安全组,允许Edge所在主机的公网IP访问。

    1. 登录阿里云ECS管理控制台。
    2. 在左侧导航栏,选择“网络与安全 > 安全组”。
    3. 找到Edge所在主机的安全组,在操作列中,单击“管理规则”。
    4. 在入方向页签,单击“快速添加”。授权策略选择“允许”,授权对象为Edge所在主机的公网IP,端口选择全部。
    5. 入方向规则设置完成后,单击“确定”。

步骤五:搭建大数据数据迁移环境

参考大数据数据迁移的准备工作,完成迁移环境搭建。其中,购买ECS选择在阿里云购买一台ECS实例,要求该ECS实例的私有IP地址能够通过SNAT访问外部网络。Edge安装完成后,使用SNAT的公网IP访问Edge,注册用户并连接迁移中心

步骤六:创建大数据迁移任务

完成步骤一到步骤五的操作,并了解大数据校验任务的使用须知后。按照以下步骤创建大数据数据迁移任务。

  1. 创建源端MaxCompute连接
  2. 创建目的端DLI连接
  3. 创建元数据迁移任务数据迁移任务并执行。

相关文档