更新时间:2024-07-18 GMT+08:00

创建弹性资源池

弹性资源池为DLI作业运行提供所需的计算资源(CPU和内存),用于灵活应对业务对计算资源变化的需求。

创建弹性资源池后,您可以在弹性资源池中创建多个队列,队列关联到具体的作业和数据处理任务,是资源池中资源被实际使用和分配的基本单元,即队列是执行作业所需的具体的计算资源。

同一弹性资源池中,队列之间的计算资源支持共享。 通过合理设置队列的计算资源分配策略,可以提高计算资源利用率。,本章节重点介绍创建弹性资源池的操作步骤和说明。

弹性资源池约束与限制

  • 不支持切换弹性资源池的计费模式。
  • 弹性资源池不支持切换区域。
  • 按需计费的弹性资源池默认勾选专属资源模式,自创建起按自然小时收费。
  • Flink 1.10及其以上版本的作业支持在弹性资源池运行。
  • 弹性资源池网段设置后不支持更改。
  • 弹性资源池关联队列:
    • 仅支持关联按需计费模式的队列(包括专属队列)。
    • 队列和弹性资源池状态正常,资源未被冻结。
  • 当前仅支持包年包月计费模式的弹性资源池进行规格变更。
  • 仅支持查看30天以内的弹性资源池扩缩容历史。
  • 弹性资源池不支持访问公网。

    如有访问公网诉求请您参考配置DLI 队列与公网网络连通

  • 弹性资源池CU设置、弹性资源池中添加/删除队列、修改弹性资源池中队列的扩缩容策略、系统自动触发弹性资源池扩缩容时都会引起弹性资源池CU的变化,部分情况下系统无法保证按计划扩容/缩容至目标CUs:
    • 弹性资源池扩容时,可能会由于物理资源不足导致弹性资源池无法扩容到设定的目标大小。
    • 弹性资源池缩容时,系统不保证将队列资源完全缩容到设定的目标大小。

      在执行缩容任务时,系统会先检查资源使用情况,判断是否存在缩容空间,如果现有资源无法按照最小缩容步长执行缩容任务,则弹性资源池可能缩容不成功,或缩容一部分规格的情况。

      因资源规格不同可能有不同的缩容步长,通常是16CUs、32CUs、48CUs、64CUs等。

      示例:弹性资源池规格为192CUs,资源池中的队列执行作业占用了68CUs,计划缩容至64CUs。

      执行缩容任务时,系统判断剩余124CUs,按64CUs的缩容步长执行缩容任务,剩余60CUs资源无法继续缩容,因此弹性资源池执行缩容任务后规格为128CUs。

创建弹性资源池

  1. 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。
  2. 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。
  3. 在“购买弹性资源池”界面,填写具体的弹性资源池参数,具体参数填写参考如下。

    表1 参数说明

    参数名称

    描述

    区域

    选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。

    项目

    每个区域默认对应一个项目,这个项目由系统预置。

    名称

    弹性资源池的具体名称。

    • 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线或数字开头。
    • 输入长度不能超过128个字符。
    说明:

    弹性资源池名称不区分大小写,系统会自动转换为小写。

    规格

    • 基础版:16-64CUs规格
      • 适用于对资源消耗不高、对资源高可靠性和高可用性要求不高的测试场景。
      • 不支持高可靠与高可用。
      • 不支持设置队列属性和作业优先级。
      • 不支持对接Notebook实例。
    • 标准版:64CUs及以上规格

      具备强大的计算能力、高可用性、及灵活的资源管理能力,适用于大规模计算任务场景和有长期资源规划需求的业务场景。

    CU范围

    弹性资源池最大最小CU范围。

    描述

    创建的弹性资源池的描述信息。

    网段

    规划弹性资源池所属的网段。如需使用DLI增强型跨源,弹性资源池网段与数据源网段不能重合。弹性资源池网段设置后不支持更改

    建议使用网段:

    10.0.0.0~10.255.0.0/16~19

    172.16.0.0~172.31.0.0/16~19

    192.168.0.0~192.168.0.0/16~19

    企业项目

    如果所建弹性资源池属于企业项目,可选择对应的企业项目。

    企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。

    关于如何设置企业项目请参考《企业管理用户指南》。

    说明:

    只有开通了企业管理服务的用户才显示该参数。

    标签

    使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。

    如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。

    具体请参考《标签管理服务用户指南》。

    说明:
    • 最多支持20个标签。
    • 一个“键”只能添加一个“值”。
    • 每个资源中的键名不能重复。
    • 标签键:在输入框中输入标签键名称。
      说明:

      标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。

    • 标签值:在输入框中输入标签值。
      说明:

      标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。

  4. 参数填写完成后,单击“立即购买”,在界面上确认当前配置是否正确。
  5. 单击“提交”完成队列创建。等待弹性资源池状态变成“可使用”表示当前弹性资源池创建成功。
  6. 弹性资源池创建成功后,可以根据当前业务场景参考典型场景示例:创建弹性资源池并运行作业典型场景示例:配置弹性资源池队列扩缩容策略完成后续操作。