网络概述
网络是AI DataLake各组件之间以及AI DataLake与外部环境之间进行数据交换和通信的基础。AI DataLake提供计算资源池网络和网络接入两种网络能力,分别解决不同层面的网络连接问题。
- 计算资源池网络:创建计算资源池时的基础配置,打通资源池与外部数据和服务之间的通路,保证资源池可用。
- 网络接入:按需配置的可选能力,用于客户端工具直连访问工作空间内的端点,支持SSL加密通信。
计算资源池网络
计算资源池创建后只是具备计算能力的“孤岛”,只有通过网络连接才能与外部数据和服务的交互。
计算资源池网络基于虚拟私有云(VPC)封装并提供CIDR网段选择,基于VPC对等连接实现跨VPC资源互通,为计算节点(Pod)分配独立私网IP,用于节点间数据交换、Shuffle通信、访问数据源以及服务发现等,是计算资源池与外部环境进行数据交换和通信的唯一通道。
为什么要配置计算资源池网络
没有网络配置,计算资源池将无法发挥任何作用。配置计算资源池网络是使用计算资源分析数据的基础要求,主要体现在以下场景:
- 保障AI DataLake数据的流入与流出:
- 数据采集:外部数据源(如业务数据库、日志服务器)需要将数据实时或批量推送到计算资源池中进行处理,网络带宽决定了数据的写入速度。
- 分析结果输出:分析处理后的结果(如报表、模型预测结果)需要发送给外部应用(如BI工具、Web服务)进行展示或进一步利用。
图2 数据的流入与流出
- 满足AI DataLake计算节点间的通信需求:
AI DataLake计算资源底层使用了容器资源,容器之间需要通过网络进行数据交换和任务协调,以完成大规模计算任务。
这个过程中会将计算任务分解为多个子任务,子任务之间需要通过网络进行数据交换。没有网络连接,容器将成为孤立个体,无法被访问。
图3 AI DataLake计算节点间的通信需求
计算资源池网络的创建,请参见创建网络。
网络接入
网络接入是按需配置的可选网络能力,用于解决客户端工具访问端点时的网络连通问题。创建网络接入后,系统将创建VPCEP Client,建立与AI DataLake服务内网的私网连接,使用户能够通过客户端工具直连访问工作空间内的端点并操作作业,网络通道独立、安全可控。
网络接入仅解决网络连通问题,连接的安全性由端点上的SSL认证开关决定,分为以下两种情况:
- 端点已开启SSL认证:网络接入提供加密传输与身份认证能力。客户端需先下载JKS格式证书并完成配置,才能通过HTTPS安全连接端点。
- 端点未开启 SSL 认证:网络接入仅打通网络通道,不提供加密和身份认证。客户端无需配置证书即可访问端点,数据以明文传输,请结合业务安全要求评估使用。
网络接入使用场景与必要性
计算资源池网络打通的是资源池和外部数据的通路,但用户客户端仍通过共享网络通道访问端点。
当您有以下需求时,可配置网络接入:
- 需要直连访问端点: 客户端工具通过独立网络通道直连访问工作空间内的端点,无需走共享网络通道。
- 需要更优的网络性能: 与默认的共享网络通道相比,直连网络通道提供独立IP和更优的网络性能,网络更稳定。
- 需要加密通信: 端点开启SSL认证后,需下载JKS证书并完成证书配置,客户端与端点之间基于SSL证书进行身份认证。
一个工作空间下可以创建多个端点,创建一个网络接入后,该工作空间下所有端点共用同一网络通道,无需为每个端点单独创建。
网络接入的具体使用方法,请参见网络接入。