通过公网连通网络
在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。
本章节主要为您介绍数据库部署在本地IDC场景下,通过公网打通网络的方案。
约束限制
资源组不具有公网网段,只能通过公网NAT转换成固定的弹性公网IP访问公网,且该IP不能与数据源公网IP重复。
前提条件
已购买资源组,详情请参见购买数据集成资源组。
准备工作
查询打通网络过程中所涉及到对象的网段(包含数据源、中转VPC、资源组),为便于理解,本章节将举例为您进行介绍。
资源名称 |
说明 |
私网网段示例 |
---|---|---|
数据源公网IP |
本地IDC数据源的公网IP,请用户根据实际情况自行获取。 |
14.x.x.x/32 |
弹性公网IP |
资源组不具有公网网段,只能通过公网NAT转换成固定的弹性公网IP以访问公网。若未开通弹性公网IP,请登录弹性公网IP控制台,单击“购买弹性公网IP”,参考通过VPC和EIP快速搭建可访问公网的网络进行配置。 |
100.x.x.x/32 |
中转VPC及其子网 |
用于连通数据源和资源组网络的中间桥梁,本方案中需要使用当前租户下的一个虚拟私有云。若未开通VPC请参考创建虚拟私有云进行配置。 |
VPC:10.186.0.0/19 子网:10.186.0.0/24 |
资源组VPC |
Migration实时计算资源组所属VPC,由于资源组创建在用户账户下属的资源租户,使用资源租户的VPC网段,因此不占用用户账户的VPC网段。 查看方式: 登录DataArts Studio控制台,进入实例,单击“资源管理”进入资源管理页面,在“实时资源管理”中单击指定资源组的下拉框,查看该资源组的VPC网段。
图2 查询资源组网段
|
172.16.0.0/19 |
网络配置流程
- 创建Migration实时网络连接(对等连接)。
为了连通中转VPC和实时资源组VPC网络,可以通过DataArts Studio资源管理功能来创建两个VPC间的对等连接。
登录DataArts Studio控制台,进入实例,单击“资源管理”进入资源管理页面。
图3 新建网络连接
在“实时网络连接”页签中单击“新建”,在弹出的“新建网络连接”对话框输入对应参数,配置参数如下表所示:
表2 新建网络连接参数 参数
说明
连接名称
填写待创建的网络连接名称。
只能包含字母、数字和下划线。
资源组
需要和指定VPC进行网络打通的资源组。
如果创建时未选择资源组,可以在网络连接创建好后再绑定资源组。支持绑定多个资源组,可以通过单击“更多” >“绑定资源组”进行选择。
虚拟私有云(VPC)
选择需要和资源组进行网络打通的虚拟私有云。
本方案中,资源组网段与中转VPC之间通过对等连接连通网络,因此必须选择中转VPC(例如10.186.0.0/19)。
子网
中转VPC的子网(例如10.186.0.0/24)。
路由表
子网实际关联的路由表,绑定资源组时会在此路由表中添加资源组的路由信息。本参数无需配置。
为网络连接绑定资源组,实际上是通过资源组网段与中转VPC之间的对等连接连通网络,因此绑定资源组时会在此路由表中添加一条指向资源组VPC网段的路由。
- 实时网络连接(对等连接)添加数据源网段路由。
单击步骤1所创建实时网络连接的“路由信息”,单击“添加路由”,输入本地IDC自建数据库的公网IP(例如14.x.x.x/32)。
图4 添加路由1
图5 添加路由2
- (可选)MRS类型数据源还需要进行以下操作打通网络。
实时网络连接创建完成并绑定资源组后,单击右侧“更多 > 修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。
图6 修改主机信息
查看MRS集群节点IP和域名的方式:
- 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。
须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
图7 查看MRS集群节点IP和域名
- 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。
- 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。
- 购买弹性公网IP。
登录弹性公网IP控制台,单击“购买弹性公网IP”,根据界面提示配置参数,详情请参考通过VPC和EIP快速搭建可访问公网的网络。
- 新建公网NAT网关。
- 登录NAT网关控制台,在左侧导航栏中选择“NAT网关 > 公网NAT网关”,单击“购买公网NAT网关”。
- 配置NAT网关时,区域选择Migration所在Region,虚拟私有云选择中转VPC(例如10.186.0.0/19),子网选择中转VPC的子网(例如10.186.0.0/24),其余参数可参考购买公网NAT网关。
图8 配置公网NAT网关
- 为公网NAT网关添加SNAT规则。
为新建的NAT网关添加SNAT规则,才能实现资源组网段下的主机与Internet互相访问。请单击新建的公网NAT网关名称进入配置界面,选择“SNAT规则”页签,单击“添加SNAT规则”。
图9 添加SNAT规则1
其中,使用场景选择“云专线/云连接”,输入资源组VPC网段(例如172.16.0.0/19),然后绑定步骤3所购买的弹性公网IP(100.x.x.x/32)。
图10 添加SNAT规则2
- 中转VPC子网网络添加路由。
中转VPC子网的路由表中需要添加路由,目的地址指向本地IDC数据库的公网IP(例如14.x.x.x/32),下一跳跳至上面配置的NAT网关。
- 登录虚拟私有云控制台,在左侧导航栏选择“虚拟私有云 > 子网”,找到中转VPC的子网并单击对应路由表名称进入配置界面。
图11 查找路由表
- 然后在路由表界面中选择“基本信息”页签,单击“添加路由”,目的地址指向本地IDC数据库的公网IP(例如14.x.x.x/32),下一跳跳至上面配置的NAT网关。
图12 路由表添加路由
- 登录虚拟私有云控制台,在左侧导航栏选择“虚拟私有云 > 子网”,找到中转VPC的子网并单击对应路由表名称进入配置界面。
- 本地IDC的防火墙设置。
本地IDC的防火墙需要放通弹性公网IP(例如100.x.x.x/32)的访问,使得Migration可以正常访问本地IDC自建数据库。
- 入方向放行:放通弹性公网IP到数据库监听端口的访问。
- 出方向放行:放通数据库监听端口到弹性公网IP的数据传输。
- 本地IDC自建数据库添加白名单。
本地IDC自建数据库需要添加弹性公网IP(例如100.x.x.x/32)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。
各数据源所用端口不尽相同,可参考数据源安全组应放通哪些端口可满足Migration访问?进行安全组规则端口配置。
- 测试网络连接。
在DataArts Studio工作空间下创建数据连接,并创建实时集成作业,选择对应数据连接和资源组进行连通性测试,详情请参考创建实时集成作业。