基本概念
端点
在AI DataLake服务中,端点是用户与AI DataLake引擎和计算资源交互的入口,其本质是“计算引擎”与“计算资源”的绑定,使得提交的作业可以访问AI DataLake的引擎并使用AI DataLake的计算资源。端点就是“作业跑起来的地方”,将作业提交到端点后,由端点内的计算资源负责执行,最终返回作业结果。
端点的组成部分请参考表1。不同引擎端点的组成部分略有差异,这里仅列出通用组成部分。
| 类型 | 组成部分 | 说明 |
|---|---|---|
| 计算资源 | 工作组(WorkerGroup,含多个 Worker)/Head 主节点 | 端点内实际执行计算的工作组(每个工作组含1-64个Worker),支持弹性扩缩容。 |
| 存储配置 | 临时存储、文件系统(OBS、SFS Turbo) | 按需购买的存储介质,用于承载作业运行数据(如临时下盘数据、作业材料)。 |
| 镜像 | 工作组运行镜像+镜像快照(加速容器启动) | 工作组运行的容器镜像,可关联镜像快照加速容器启动。 |
| 监控与日志 | 指标对接AOM、日志上报 LTS | 端点资源监控、作业监控(对接 AOM),日志集中上报 LTS。 |
AI DataLake按引擎提供不同类型的端点,更多信息请参见端点。
Worker(AuraJobV2)
Worker(工作节点)是Aura工作组内实际执行计算任务的单元,是端点计算能力的载体。每个Worker拥有固定的资源规格(vCPU、内存,可选GPU/NPU加速器),负责接收并处理工作组调度的数据分片,并行完成Aura端点的SQL或DataFrame作业的计算。
创建AuraJobV2端点时,您可以通过“工作组配置”定义Worker的能力与规模。参数说明如表2所示。
不配置Worker系统就无法确定端点能处理多少计算任务、以多大并行度执行作业。
Head、Workergroup、Worker(Ray端点)
在创建Ray端点时,需要配置Head(主节点)、 Workergroup(工作节点组)、Worker(工作节点)。
| 名称 | 说明 |
|---|---|
| Head(主节点) | Head(主节点)负责集群的初始化和引导,维护所有Worker节点的元数据信息。同时Head节点实时监控整个集群的资源状态(包括CPU、GPU、内存等),基于全局资源视图进行智能调度决策,将计算任务合理分配到最合适的Worker节点上执行,从而实现负载均衡,提升资源利用率。 |
| Workergroup(工作节点组) | 一组同规格Worker的集合。一个端点最多可配置10个工作组。 |
| Worker(工作节点) | Worker节点负责接收来自Head节点的任务并进行实际的计算处理。通过配置多个Worker节点,可以将大规模计算任务分解成多个子任务并行处理,显著提升计算效率。支持配置最小和最大Worker数量,可以根据任务负载动态调整计算资源,实现资源的高效利用。 |