Aura引擎端点概述

端点类型

在工作空间中提交作业时，是通过端点来连接引擎与计算资源。创建端点时，AI DataLake自动将引擎和计算资源池绑定，在后续提交作业时无需再手动配置作业与引擎和资源的映射关系。

端点类型分为端点引擎类型和端点类型，两个维护互相结合，满足不同业务场景的需求。

• 端点引擎类型是指端点绑定的计算引擎，决定了数据处理的计算方式和能力。
• 端点类型是指端点的使用模式，决定了连接方式、计费模式和适用场景。
  图1 端点类型介绍
  

Aura引擎支持配置的端点类型

Aura引擎支持配置三种类型的端点，分别适用于不同的使用场景和业务需求。您可以根据工作负载特点选择合适的端点类型。

• Job端点：

  Job端点用于提交和管理批量作业，适用于定时任务和大规模数据处理场景。

  支持批量提交作业、作业调度与编排（在DataArts Studio空间完成）、任务状态监控，适合大规模数据处理。常应用于ETL数据抽取转换加载、定时批处理任务、大规模数据清洗等定时任务和大规模数据处理场景。

Aura引擎支持的资源使用模式

Aura引擎支持两种资源使用模式：预留模式和混合模式。用户可以根据业务负载特点选择合适的模式，优化成本、平衡资源性能。

资源使用模式：预留模式

• 模式介绍

  预留模式通过预留专属计算资源，确保业务所需的计算资源的稳定性，同时获得最优的单价成本。

  在预留模式下，用户预先购买一定量的计算资源，这些资源始终为用户保留独享。无论是否使用这些资源，都需要按预留的资源数量支付费用。这种模式适合负载稳定、持续运行的业务，能够提供稳定的性能保障和最优的成本效率。

  图2 预留资源模式示意图
  
• 核心特性
  • 资源独享，性能稳定：预留资源完全独享，不存在资源争抢问题，性能更加稳定。
  • 成本最优：预留资源单价在所有模式成本最优。
• 适用场景
  • 负载长期稳定运行的业务：资源使用量稳定，例如持续运行的服务，日均处理量波动较小的业务。
  • 性能保障要求高的业务：对查询延迟有严格要求，需要稳定的资源保障响应性能的应用。独享资源可以确保性能不会受到其他用户的影响。
  • 成本优化场景的业务需求：长期运行的生产环境的业务，在资源利用率不变的情况下可以通过使用预留资源池降低资源成本。

资源使用模式：混合模式

• 模式介绍

  混合模式结合了预留资源和弹性资源，优先消耗预留资源，高峰期预留资源不足时调度弹性资源组合使用。预留资源保证了业务基线的稳定性，弹性资源的自动调度又具备应对突发负载的弹性能力。

  图3 混合资源模式示意图
  
• 核心特性：
  • 预先购买的预留资源作为业务运行的基线，无论何时都可以使用，不受弹性资源状态影响。
  • 而当业务负载超过预留资源的容量时，系统会自动调度弹性资源，无需人工干预。调度的弹性资源按实际使用量计费，避免资源浪费。
• 资源消耗顺序

  混合资源调配顺序如图4所示，系统按以下优先级调度计算资源：

  • 第一优先级：预留资源中的空闲资源
  • 第二优先级：按需创建的弹性资源
  图4 混合资源调配原理图
  

  混合模式下，系统会优先计算预留资源的可用容量是否满足新增作业的需求：

  • 作业所需资源小于等于预留资源池当前可用容量，完全由预留资源池支撑，不会触发调度弹性资源。
  • 作业所需资源大于预留资源池当前可用容量，系统自动触发调度弹性资源，作业将使用弹性资源来执行
• 适用场景

  混合模式适用于以下业务场景：

  • 有规律波动的业务场景：

    业务量在一天中呈现明显的周期性变化，业务负载呈现规律性的高低起伏。例如白天需要更多资源，夜间资源需求较少。

  • 兼顾性能与成本的业务场景：

    通过日常使用预留资源确保业务稳定运行，提供可预期的基础性能。同时保障应对高峰或突发场景的能力，通过弹性资源自动扩展资源，无需人工干预。

  • 一些不可预测的突发负载场景：

    可能存在突发的业务场景需要快速扩展资源，应对数据分析需求，这种需求通常是临时的短期的业务需求。