更新时间:2026-10-21 GMT+08:00
分享

基本概念

端点

在AI DataLake服务中,端点是用户与AI DataLake引擎和计算资源交互的入口,其本质是“计算引擎”与“计算资源”的绑定,使得提交的作业可以访问AI DataLake的引擎并使用AI DataLake的计算资源。端点就是“作业跑起来的地方”,将作业提交到端点后,由端点内的计算资源负责执行,最终返回作业结果。

端点的组成部分请参考表1。不同引擎端点的组成部分略有差异,这里仅列出通用组成部分。

表1 端点的组成部分

类型

组成部分

说明

计算资源

工作组(WorkerGroup,含多个 Worker)/Head 主节点

端点内实际执行计算的工作组(每个工作组含1-64个Worker),支持弹性扩缩容。

存储配置

临时存储、文件系统(OBS、SFS Turbo)

按需购买的存储介质,用于承载作业运行数据(如临时下盘数据、作业材料)。

镜像

工作组运行镜像+镜像快照(加速容器启动)

工作组运行的容器镜像,可关联镜像快照加速容器启动。

监控与日志

指标对接AOM、日志上报 LTS

端点资源监控、作业监控(对接 AOM),日志集中上报 LTS。

AI DataLake按引擎提供不同类型的端点,更多信息请参见端点。

Worker(AuraJobV2)

Worker(工作节点)是Aura工作组内实际执行计算任务的单元,是端点计算能力的载体。每个Worker拥有固定的资源规格(vCPU、内存,可选GPU/NPU加速器),负责接收并处理工作组调度的数据分片,并行完成Aura端点的SQL或DataFrame作业的计算。

图1 AuraJobV2 Worker原理图

创建AuraJobV2端点时,您可以通过“工作组配置”定义Worker的能力与规模。参数说明如表2所示。

不配置Worker系统就无法确定端点能处理多少计算任务、以多大并行度执行作业。

表2 Worker相关参数项

参数

作用

每Worker资源配置

配置Worker的资源类型和算力大小。决定单个worker的算力(CPU核数、内存、加速器卡数)。例如“2 vCPU | 8 GiB”、“1 卡 | 4 vCPU | 16 GiB”

Worker数量 (Min-Max)

决定Worker数量范围,即扩缩容边界,端点运行时随负载在此范围内弹性扩缩容。

镜像

决定Worker的运行环境。

Head、Workergroup、Worker(Ray端点)

在创建Ray端点时,需要配置Head(主节点)、 Workergroup(工作节点组)、Worker(工作节点)。

表3 基本概念

名称

说明

Head(主节点)

Head(主节点)负责集群的初始化和引导,维护所有Worker节点的元数据信息。同时Head节点实时监控整个集群的资源状态(包括CPU、GPU、内存等),基于全局资源视图进行智能调度决策,将计算任务合理分配到最合适的Worker节点上执行,从而实现负载均衡,提升资源利用率。

Workergroup(工作节点组)

一组同规格Worker的集合。一个端点最多可配置10个工作组。

Worker(工作节点)

Worker节点负责接收来自Head节点的任务并进行实际的计算处理。通过配置多个Worker节点,可以将大规模计算任务分解成多个子任务并行处理,显著提升计算效率。支持配置最小和最大Worker数量,可以根据任务负载动态调整计算资源,实现资源的高效利用。

图2 Ray集群Head配置原理图

相关文档