文档首页> 数据治理中心 DataArts Studio> 常见问题> 数据集成> 如何将云下内网或第三方云上的私网与CDM连通?
更新时间:2022-12-05 GMT+08:00
分享

如何将云下内网或第三方云上的私网与CDM连通?

很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络:
  • 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
  • 在本地数据中心和云服务VPC之间建立VPN通道。
  • 通过NAT(网络地址转换,Network Address Translation)或端口转发,以代理的方式访问。
这里重点介绍如何通过端口转发工具来实现访问内部数据,流程如下:
  1. 找一台windows机器作为网关,该机器必须可以直接访问Internet,同时可以访问内网。
  2. 在该机器上安装端口映射工具(IPOP)。
  3. 通过端口映射工具(IPOP)配置端口映射。

长时间将内网数据库暴露在公网会有安全风险,迁移数据完成后,请及时停止端口映射。

场景描述

这里假设是将内网MySQL迁移到云服务DWS,网络拓扑样例如图1所示。

图中的内网既可以是企业自己的数据中心,也可以是在第三方云的虚拟数据中心私网。

图1 网络拓扑样例

操作步骤

  1. 找一台Windows机器作为网关机,该机器同时配置内网和外网IP。通过以下测试来确保网关机器的服务要求:

    1. 在该机器上ping内网MySQL地址可以ping通,例如:ping 192.168.1.8
    2. 在另外一台可上网的机器上ping网关机的公网地址可以ping通,例如ping 202.xx.xx.10

  2. 下载端口映射工具IPOP,在网关机上安装IPOP。
  3. 运行端口映射工具,选择“端口映射”,如图2所示。

    • 本地地址、本地端口:配置为网关机的公网地址和端口(后续在CDM上创建MySQL连接时输入这个地址和端口)。
    • 映射地址、映射端口:配置为内网MySQL的地址和端口。
    图2 配置端口映射

  4. 单击“增加”,添加端口映射关系。
  5. 单击“开始映射”,这时才会真正开始映射,接收数据包。

    至此,就可以在CDM上通过弹性IP读取本地内网MySQL的数据,然后导入到云服务DWS中。

    1. CDM要访问本地数据源,也必须给CDM集群配置EIP。
    2. 一般云服务DWS默认也是只允许VPC内部访问,创建CDM集群时,必须将CDM的VPC与DWS配置一致,且推荐在同一个内网和安全组,如果不同,还需要配置允许两个安全组之间的数据访问。
    3. 端口映射不仅可以用于迁移内网数据库的数据,还可以迁移例如SFTP服务器上的数据。
    4. Linux机器也可以通过IPTABLE实现端口映射。
    5. 内网中的FTP通过端口映射到公网时,需要检查是否启用了PASV模式。这种情况下客户端和服务端建立连接的时候是走的随机端口,所以除了配置21端口映射外,还需要配置PASV模式的端口范围映射,例如vsftp通过配置pasv_min_port和pasv_max_port指定端口范围。

分享:

数据集成 所有常见问题

more