# Spark端点类型概述
#### 什么是端点
在AI DataLake服务中，端点是用户与AI DataLake引擎和计算资源交互的入口，其本质是"计算引擎"与"计算资源"的绑定，使得提交的作业可以访问AI DataLake的引擎并使用AI DataLake的计算资源。
端点的优势：
- 自动绑定引擎和计算资源池：创建端点时，AI DataLake自动将引擎和计算资源池绑定，在后续提交作业时无需再手动配置作业与引擎和资源的映射关系。
- 灵活配置分配给端点的计算资源：您可以在创建端点时根据业务需求配置所需的资源池的计算规格，即资源池分配给当前端点的**保障配额（Min）** 、**最大配额（Max）**。
[图1]介绍了AI DataLake端点的基本原理：
- 作业层只需对接端点，无需关心底层引擎/资源细节。
- 每个端点自动绑定对应的计算引擎（Aura、Ray、Spark、Flink）和计算资源（CPU、GPU、NPU）。
- 端点可以灵活配置计算资源规格，作业无感知，无需重新配置/启动作业。
  图1AI DataLake端点原理图   
  ![](https://support.huaweicloud.com/usermanual-aidatalake/zh-cn_image_0000002699378007.png "点击放大") 
 
#### Spark引擎的端点类型
Spark引擎提供两种端点类型以满足不同的数据处理需求。
- **SparkSQL端点**
  适用于数据查询和分析的Spark SQL场景，通过编写SQL语句快速完成数据的筛选、聚合、计算等操作，满足数据分析师需要快速探索数据的业务需求。
  
- **SparkJob端点**
  适用于复杂数据处理的Spark Job场景，适合执行大规模数据转换、机器学习模型训练、ETL作业等复杂的数据处理任务。
  
 
#### Spark引擎的资源使用模式
Spark引擎支持三种资源使用模式：预留资源、混合模式和按需弹性。用户可以根据业务负载特点选择合适的模式，优化成本、平衡资源性能。
表1Spark引擎支持的资源使用模式 
| 端点类型                                                                                                                                                                                                                  | 资源使用模式 | 说明                                             | 详细说明                                                                                                                                 |
|:---|:---|:---|:---|
| - SparkSQL  - SparkJob   | 预留资源   | 独享性能，成本最优。预留资源，单价最低，确保业务基线稳定。适用于负载稳定业务场景。      | [资源使用模式：预留模式](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0039.html#aidatalake_01_0039__section825410552515) |
| - SparkSQL  - SparkJob   | 混合模式   | 基线保障，自动扩容。优先消耗预留资源，高峰期自动触发弹性补位。适用于有规律波动的业务。    | [资源使用模式：混合模式](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0039.html#aidatalake_01_0039__section19071431516)  |
| - SparkSQL  - SparkJob   | 按需弹性   | 按任务实际运行时长扣费，无任务不产生费用。适合短期或偶发性的业务需求，如开发测试或临时任务。 | [资源使用模式：按需弹性](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0039.html#aidatalake_01_0039__section37415145111)  |