更新时间：2026-10-21 GMT+08:00
Spark端点类型概述
什么是端点
在AI DataLake服务中，端点是用户与AI DataLake引擎和计算资源交互的入口，其本质是“计算引擎”与“计算资源”的绑定，使得提交的作业可以访问AI DataLake的引擎并使用AI DataLake的计算资源。
端点的优势：
- 自动绑定引擎和计算资源池：创建端点时，AI DataLake自动将引擎和计算资源池绑定，在后续提交作业时无需再手动配置作业与引擎和资源的映射关系。
- 灵活配置分配给端点的计算资源：您可以在创建端点时根据业务需求配置所需的资源池的计算规格，即资源池分配给当前端点的保障配额（Min）、最大配额（Max）。
图1介绍了AI DataLake端点的基本原理：
- 作业层只需对接端点，无需关心底层引擎/资源细节。
- 每个端点自动绑定对应的计算引擎（Aura、Ray、Spark、Flink）和计算资源（CPU、GPU、NPU）。
- 端点可以灵活配置计算资源规格，作业无感知，无需重新配置/启动作业。
Spark引擎的端点类型
Spark引擎提供两种端点类型以满足不同的数据处理需求。
- SparkSQL端点
SparkSQL是Spark引擎的SQL交互式端点，通过编写SQL语句完成数据筛选、聚合、计算。适用于数据查询分析、即席查询、数据探索等交互式场景。端点执行SQL语句时，以当前用户身份访问LakeFormation资源（IAM用户+策略授权），支持预留、混合、按需弹性三种资源模式，并提供Query Profile用于查询性能分析。
- SparkJob端点
SparkJob是Spark引擎的批处理作业端点，执行大规模数据转换和复杂处理。适用于ETL作业、机器学习模型训练、大规模数据转换等批量场景。端点执行作业时，以端点配置的委托身份访问LakeFormation资源。支持提交日志查看，支持预留、混合、按需弹性三种资源模式。
Spark引擎的资源使用模式
Spark引擎支持三种资源使用模式：预留资源、混合模式和按需弹性。用户可以根据业务负载特点选择合适的模式，优化成本、平衡资源性能。
| 端点类型 | 资源使用模式 | 说明 | 详细说明 |
|---|---|---|---|
| 预留资源 | 独享性能，成本最优。预留资源，单价最低，确保业务基线稳定。适用于负载稳定业务场景。 | |
| 混合模式 | 基线保障，自动扩容。优先消耗预留资源，高峰期自动触发弹性补位。适用于有规律波动的业务。 | ||
| 按需弹性 | 按任务实际运行时长扣费，无任务不产生费用。适合短期或偶发性的业务需求，如开发测试或临时任务。 |
