更新时间:2024-12-03 GMT+08:00
如何将云下内网或第三方云上的私网与CDM连通?
很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络:
- 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
- 在本地数据中心和云服务VPC之间建立VPN通道。
- 通过NAT(网络地址转换,Network Address Translation)或端口转发,以代理的方式访问。
这里重点介绍如何通过端口转发工具来实现访问内部数据,流程如下:
- 找一台windows机器作为网关,该机器必须可以直接访问Internet,同时可以访问内网。
- 在该机器上安装端口映射工具(IPOP)。
- 通过端口映射工具(IPOP)配置端口映射。
长时间将内网数据库暴露在公网会有安全风险,迁移数据完成后,请及时停止端口映射。
操作步骤
- 找一台Windows机器作为网关机,该机器同时配置内网和外网IP。通过以下测试来确保网关机器的服务要求:
- 在该机器上ping内网MySQL地址可以ping通,例如:ping 192.168.1.8。
- 在另外一台可上网的机器上ping网关机的公网地址可以ping通,例如ping 202.xx.xx.10。
- 下载端口映射工具IPOP,在网关机上安装IPOP。
- 运行端口映射工具,选择“端口映射”,如图2所示。
- 本地地址、本地端口:配置为网关机的公网地址和端口(后续在CDM上创建MySQL连接时输入这个地址和端口)。
- 映射地址、映射端口:配置为内网MySQL的地址和端口。
- 单击“增加”,添加端口映射关系。
- 单击“开始映射”,这时才会真正开始映射,接收数据包。
至此,就可以在CDM上通过弹性IP读取本地内网MySQL的数据,然后导入到云服务DWS中。
- CDM要访问本地数据源,也必须给CDM集群配置EIP。
- 一般云服务DWS默认也是只允许VPC内部访问,创建CDM集群时,必须将CDM的VPC与DWS配置一致,且推荐在同一个内网和安全组,如果不同,还需要配置允许两个安全组之间的数据访问。
- 端口映射不仅可以用于迁移内网数据库的数据,还可以迁移例如SFTP服务器上的数据。
- Linux机器也可以通过IPTABLE实现端口映射。
- 内网中的FTP通过端口映射到公网时,需要检查是否启用了PASV模式。这种情况下客户端和服务端建立连接的时候是走的随机端口,所以除了配置21端口映射外,还需要配置PASV模式的端口范围映射,例如vsftp通过配置pasv_min_port和pasv_max_port指定端口范围。
父主题: 数据集成(CDM作业)