更新时间:2026-11-16 GMT+08:00
分享

网络概述

网络是AI DataLake各组件之间以及AI DataLake与外部环境之间进行数据交换和通信的基础。AI DataLake提供计算资源池网络和网络接入两种网络能力,分别解决不同层面的网络连接问题。

  • 计算资源池网络:创建计算资源池时的基础配置,打通资源池与外部数据和服务之间的通路,保证资源池可用。
  • 网络接入:按需配置的可选能力,用于客户端工具直连访问工作空间内的端点,支持SSL加密通信。

计算资源池网络

计算资源池创建后只是具备计算能力的“孤岛”,只有通过网络连接才能与外部数据和服务的交互。

计算资源池网络基于虚拟私有云(VPC)封装并提供CIDR网段选择,基于VPC对等连接实现跨VPC资源互通,为计算节点(Pod)分配独立私网IP,用于节点间数据交换、Shuffle通信、访问数据源以及服务发现等,是计算资源池与外部环境进行数据交换和通信的唯一通道。

图1 AI DataLake计算资源池网络连接

为什么要配置计算资源池网络

没有网络配置,计算资源池将无法发挥任何作用。配置计算资源池网络是使用计算资源分析数据的基础要求,主要体现在以下场景:

  • 保障AI DataLake数据的流入与流出:
    • 数据采集:外部数据源(如业务数据库、日志服务器)需要将数据实时或批量推送到计算资源池中进行处理,网络带宽决定了数据的写入速度。
    • 分析结果输出:分析处理后的结果(如报表、模型预测结果)需要发送给外部应用(如BI工具、Web服务)进行展示或进一步利用。
    图2 数据的流入与流出
  • 满足AI DataLake计算节点间的通信需求:

    AI DataLake计算资源底层使用了容器资源,容器之间需要通过网络进行数据交换和任务协调,以完成大规模计算任务。

    这个过程中会将计算任务分解为多个子任务,子任务之间需要通过网络进行数据交换。没有网络连接,容器将成为孤立个体,无法被访问。

    图3 AI DataLake计算节点间的通信需求

计算资源池网络的创建,请参见创建网络。

网络接入

网络接入是按需配置的可选网络能力,用于解决客户端工具访问端点时的网络连通问题。创建网络接入后,系统将创建VPCEP Client,建立与AI DataLake服务内网的私网连接,使用户能够通过客户端工具直连访问工作空间内的端点并操作作业,网络通道独立、安全可控。

网络接入仅解决网络连通问题,连接的安全性由端点上的SSL认证开关决定,分为以下两种情况:

  • 端点已开启SSL认证:网络接入提供加密传输与身份认证能力。客户端需先下载JKS格式证书并完成配置,才能通过HTTPS安全连接端点。
  • 端点未开启 SSL 认证:网络接入仅打通网络通道,不提供加密和身份认证。客户端无需配置证书即可访问端点,数据以明文传输,请结合业务安全要求评估使用。
图4 AI DataLake网络接入

网络接入使用场景与必要性

计算资源池网络打通的是资源池和外部数据的通路,但用户客户端仍通过共享网络通道访问端点。

当您有以下需求时,可配置网络接入:

  • 需要直连访问端点: 客户端工具通过独立网络通道直连访问工作空间内的端点,无需走共享网络通道。
  • 需要更优的网络性能: 与默认的共享网络通道相比,直连网络通道提供独立IP和更优的网络性能,网络更稳定。
  • 需要加密通信: 端点开启SSL认证后,需下载JKS证书并完成证书配置,客户端与端点之间基于SSL证书进行身份认证。

一个工作空间下可以创建多个端点,创建一个网络接入后,该工作空间下所有端点共用同一网络通道,无需为每个端点单独创建。

网络接入的具体使用方法,请参见网络接入。

相关文档