Ray引擎端点概述

什么是端点

在AI DataLake服务中，端点是用户与AI DataLake引擎和计算资源交互的入口，其本质是“计算引擎”与“计算资源”的绑定，使得提交的作业可以访问AI DataLake的引擎并使用AI DataLake的计算资源。

端点的优势：

• 自动绑定引擎和计算资源池：创建端点时，AI DataLake自动将引擎和计算资源池绑定，在后续提交作业时无需再手动配置作业与引擎和资源的映射关系。
• 灵活配置分配给端点的计算资源：您可以在创建端点时根据业务需求配置所需的资源池的计算规格，即资源池分配给当前端点的保障配额（Min）、最大配额（Max）。

图1介绍了AI DataLake端点的基本原理：

• 作业层只需对接端点，无需关心底层引擎/资源细节。
• 每个端点自动绑定对应的计算引擎（Aura、Ray、Spark、Flink）和计算资源（CPU、GPU、NPU）。
• 端点可以灵活配置计算资源规格，作业无感知，无需重新配置/启动作业。
  图1 AI DataLake端点原理图
  

Ray引擎的端点类型

Ray引擎支持配置两种类型的端点，分别适用于不同的使用场景和业务需求。您可以根据工作负载特点选择合适的端点类型。

• RayCluster端点

  RayCluster端点提供长期运行、可复用的“计算资源池”，可多次提交Ray作业，适用于需要反复交互、多任务共享常驻环境的场景。

• RayJob端点

  RayJob端点提供按需启动、用完即销毁的“任务执行单元”，任务完成后自动释放资源，节省资源成本，但每次提交任务需要启动集群，存在一定的启动延迟。适用于一次性运行、自动清理资源的场景。

Ray引擎的资源使用模式

Ray引擎支持三种资源使用模式：预留资源、混合模式和按需弹性。用户可以根据业务负载特点选择合适的模式，优化成本、平衡资源性能。