配置实时网络连接
实时迁移任务配置前，您需要确保用于执行迁移任务的资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中时，可选用的网络连通方案。
操作场景
DataArts Migration作业运行于资源组提供的资源之上，因此资源组与数据源之间必须保证连通，才能实现对数据的实时ETL（抽取（Extract）、清洗转换（Transform）、加载（Load））。
集成作业创建后，选定了数据源端、目的端及资源组后，需要检测资源组与两个数据源之间的连通性。
资源组与两个数据源分布在不同账号和云时的打通网络方案不同，具体如下：
- 数据源创建在本租户的VPC时通过对等连接打通网络，详情请参见数据连接与资源组同时创建在华为云同一个租户。
图1 原理图
通过对等连接打通资源组网段和数据源VPC。
- 数据源创建在本地机房/其他区域/其他租户/其他公有云时，通过业务VPC、中转VPC打通网络：数据连接与资源组分布在不同租户或分布在不同云上。
- 主推方案：使用中转VPC中转网络。
图2 原理图
数据源VPC与资源组网段不在一起时，首先通过云专线等方式连通华为云专有网络（业务VPC）和数据源VPC，再通过购买私网NAT和创建中转IP方式连通与资源组打通网络的中转VPC。
使用限制：
- 用户已具备一个业务VPC账号。
- 新建的中转VPC必须和资源组在同一个账号下。
优点：通用性强，无需在网络链路上多处放通资源组网段及添加对应路由，后续新增资源组仅需增加SNAT规则，适配工作量小。
缺点：需要额外购买私网NAT网关、创建中转VPC、且实时同步速率因此也受NAT带宽限制。
- 备选方案：根据实际组网手动添加路由配置。
图3 原理图
数据源VPC与资源组网段不在一起时，首先通过云专线等方式连通华为云专有网络（业务VPC）和数据源VPC，再通过对等连接方式连通业务VPC与资源组网段。
优点：无需额外购买其他服务。
缺点：操作复杂，局限性大，需要根据用户实际组网去修改网络链路上的路由及服务配置，后续每增加一个资源组就须重复操作一遍整个流程。
- 主推方案：使用中转VPC中转网络。
约束限制
- 资源组为私网网段，不能与本租户VPC重叠，否则会导致网络无法打通。
- 资源组不具有公网网段，因此仅能与数据源的私网连通。
前提条件
已购买资源组，详情请参见购买数据集成资源组。
数据连接与资源组同时创建在华为云同一个租户
通过对等连接打通资源组网段和数据源VPC。
- 登录DataArts Studio控制台。
- 在DataArts Studio控制台，单击“资源管理”，进入资源管理页面。
图5 新建网络连接
- 在“实时网络连接”页签，单击“新建”，在弹出的“新建网络连接”对话框输入对应参数。
配置参数如表1所示：
表1 新建网络连接参数 参数
说明
连接名称
填写待创建的网络连接名称。
只能包含字母、数字和下划线。
资源组
非必选。需要和指定VPC进行网络打通的资源组。
如果创建时未选择资源组，可以在网络连接创建好后再绑定资源组。支持绑定多个资源组，可以通过单击“更多” >“绑定资源组”进行选择。
虚拟私有云（VPC）
选择需要和资源组进行网络打通的虚拟私有云。
本方案中，资源组网段与数据源VPC之间通过对等连接连通网络，因此必须选择数据源所在的VPC和子网。
子网
数据源集群或实例所在的子网。
路由表
子网实际关联的路由表，绑定资源组时会在此路由表中添加资源组的路由信息。本参数无需配置。
为网络连接绑定资源组，实际上是通过资源组网段与数据源VPC之间的对等连接连通网络，因此绑定资源组时会在此路由表中添加一条指向资源组IP的路由。
- 通过配置数据源安全组规则放通资源组网段。
资源组添加安全组方法：打开数据源服务界面，进入用户集群，找到网络部分，单击安全组，跳转到安全组编辑页面，单击入方向规则，添加规则。
可参考如下示例放通资源组网段。
优先级 策略 类型 协议端口 源地址 1 允许 IPv4 全部协议 IP地址：资源组网段
- 执行完上述步骤后，MRS类型数据源还需要进行以下操作打通网络。
RDS(MySQL)、DMS Kafka、Oracle、RDS(PostgreSQL)、 RDS(SQL Server)、 MongoDB、DWS数据源，无需执行此操作。
表2 MRS类型数据源打通网络 数据源类型
操作方法
MRS Hudi
网络连接创建完成并绑定资源组后，单击右侧“更多 > 修改主机信息”，按照输入框提示的格式填写MRS集群所有节点的IP和域名。
图6 修改主机信息
查看MRS集群节点IP和域名的方式：
- 打开MRS页面，进入用户的MRS集群，单击“节点管理”页签，展开所有节点组，可以看到各节点IP、节点名称即是域名。
须添加所有节点IP（图中序号1）、域名信息（图中序号2），用回车分割。
图7 查看MRS集群节点IP和域名
- 登录MRS集群节点，详情请参见登录MRS集群节点，执行命令cat /etc/hosts，可以列出所有节点的IP和域名。
- 打开MRS页面，进入用户的MRS集群，单击“节点管理”页签，展开所有节点组，可以看到各节点IP、节点名称即是域名。
数据连接与资源组分布在不同租户或分布在不同云上
- 主推方案：使用中转VPC中转网络。
图8 原理图
数据源VPC与资源组网段不在一起时，首先通过云专线等方式连通华为云专有网络（业务VPC）和数据源VPC，再通过购买私网NAT和创建中转IP方式连通与资源组打通网络的中转VPC。
- 确认数据源与本租户的某一个业务VPC的网络连通。
若您的数据源位于本地机房/云其他租户/其他公有云，那么需要根据实际情况，选择云专线（DC）/虚拟专用网络（VPN）/对等连接（VPC功能）/企业路由器（ER）/云连接（CC）等服务与本租户的VPC进行网络打通。
- 通过中转VPC连通资源组网段。
- 在本租户下选择或创建一个VPC作为中转VPC，详情请参见创建VPC。
新建的中转VPC必须和资源组在同一个账号下且不能是步骤1中的业务VPC，IP不能和资源组网段重叠。
- 在资源组所在区域创建实时网络连接。在中转VPC创建实时网络连接。
表3 新建网络连接参数 参数
说明
连接名称
填写待创建的网络连接名称。
只能包含字母、数字和下划线。
资源组
非必选。需要和指定VPC进行网络打通的资源组。
如果创建时未选择资源组，可以在网络连接创建好后再绑定资源组。支持绑定多个资源组，可以通过单击“更多” >“绑定资源组”进行选择。
虚拟私有云（VPC）
选择需要和资源组进行网络打通的虚拟私有云。
本方案中，资源组网段与中转VPC之间通过对等连接连通网络，因此必须选择中转VPC和子网。
子网
中转VPC的子网。
路由表
子网实际关联的路由表，绑定资源组时会在此路由表中添加资源组的路由信息。本参数无需配置。
为网络连接绑定资源组，实际上是通过资源组网段与中转VPC之间的对等连接连通网络，因此绑定资源组时会在此路由表中添加一条指向资源组IP的路由。
- 在本租户下选择或创建一个VPC作为中转VPC，详情请参见创建VPC。
- 为资源组添加数据源VPC路由，关联资源组和数据源。
图9 添加路由
- 资源组所在区域购买私网NAT网关，打通中转VPC和业务VPC，
- 给中转VPC添加路由，连接至数据源IP地址，详情可参见添加路由。
打开虚拟私有云，选择路由表，进入中转VPC所属路由表的详情界面，单击“添加路由”。
目的地址填写数据源IP/网段，下一跳类型选择“NAT网关”，下一跳选择上述步骤4.a已购买的私网NAT网关，即可完成网络打通。
图11 添加路由
- 确认数据源与本租户的某一个业务VPC的网络连通。
- 备选方案：根据实际组网手动添加路由配置。
图12 原理图
数据源VPC与资源组网段不在一起时，首先通过云专线等方式连通华为云专有网络（业务VPC）和数据源VPC，再通过对等连接方式连通业务VPC与资源组网段。
- 确认数据源与本租户的某一个业务VPC的网络连通。
若您的数据源位于本地机房/云其他租户/其他公有云，那么需要根据实际情况，选择云专线（DC）/虚拟专用网络（VPN）/对等连接（VPC功能）/企业路由器（ER）/云连接（CC）等服务与本租户的VPC进行网络打通。
- 在资源组所在区域创建实时网络连接。
表4 新建网络连接参数 参数
说明
连接名称
填写待创建的网络连接名称。
只能包含字母、数字和下划线。
资源组
非必选。需要和指定VPC进行网络打通的资源组。
如果创建时未选择资源组，可以在网络连接创建好后再绑定资源组。支持绑定多个资源组，可以通过单击“更多” >“绑定资源组”进行选择。
虚拟私有云（VPC）
选择需要和资源组进行网络打通的虚拟私有云。
本方案中，资源组网段与业务VPC之间通过对等连接连通网络，因此必须选择业务VPC和子网。
子网
业务VPC的子网。
路由表
子网实际关联的路由表，绑定资源组时会在此路由表中添加资源组的路由信息。本参数无需配置。
为网络连接绑定资源组，实际上是通过资源组网段与业务VPC之间的对等连接连通网络，因此绑定资源组时会在此路由表中添加一条指向资源组IP的路由。
- 添加路由网段，在资源组路由表添加数据源VPC。
图13 添加路由1
图14 添加路由2
- 在数据源侧为资源组开放网段，详情请参见添加安全组规则。
用户数据源安全组和防火墙放通资源组网段。
- 添加路由，使数据源VPC与资源组网段网络打通。
数据源所属网络下添加路由，目的地址为资源组网段，下一跳根据实际组网情况进行配置，确保向资源组的网络请求能正确路由到云上本租户的业务VPC。
- 云专线：数据源网络路由添加资源组网段，下一跳跳至云专线物理连接；同时，需要在云专线虚拟网关的本端子网添加资源组网段。本网子端填写内容为资源组网段。
图15 修改虚拟网关
- 企业路由器：数据源网络路由添加资源组网段，下一跳跳至企业路由器；同时需要在企业路由表中添加路由，目的地址为资源组网段，下一跳跳至步骤1中的业务VPC。
- 云连接：进入云连接实例页面，单击“网络实例”页签，选择已加载的网络实例（对应步骤1中的业务VPC），单击“修改VPC CIDRs”，在弹出的页签中，单击“高级配置”，在其他网段中输入资源组网段，单击“添加”。
图16 创建云连接
创建云连接后根据界面参数修改VPC。
- 虚拟专用网络：在虚拟专用网络中增加对应的VPN网关和VPN连接。
图17 虚拟专用网络入口
- 对等连接：数据源网络路由添加资源组网段，下一跳跳至数据源与业务VPC创建的对等连接。 打通的是云上不同账号的数据源和资源组。数据源所在账号创建新的对等连接，本端VPC选数据源RDS所在的VPC，对端VPC选择资源组所在VPC。
图18 配置参数
图19 对端项目ID获取方式
图20 对端VPC ID获取方式
图21 添加路由
1为资源组网段，2为下一跳选择新建的对等连接。
- 云专线：数据源网络路由添加资源组网段，下一跳跳至云专线物理连接；同时，需要在云专线虚拟网关的本端子网添加资源组网段。本网子端填写内容为资源组网段。
- 确认数据源与本租户的某一个业务VPC的网络连通。
