# 创建弹性资源池并添加队列 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），用于灵活应对业务对计算资源变化的需求。 创建弹性资源池后，您可以在弹性资源池中创建多个队列，队列关联到具体的作业和数据处理任务，是资源池中资源被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源。 同一弹性资源池中，队列之间的计算资源支持共享。 通过合理设置队列的计算资源分配策略，可以提高计算资源利用率。本章节介绍创建弹性资源池并添加队列的操作步骤。 ![](https://support.huaweicloud.com/usermanual-dli/public_sys-resources/note_3.0-zh-cn.png) DLI弹性资源池之间为物理集群隔离，同一个弹性资源池中的队列之间为逻辑隔离。 建议您对测试业务场景和生产业务场景分别创建弹性资源池，通过资源物理隔离的方式，保障资源管理的独立性和安全性。 #### 计费影响 队列的最大CU直接影响弹性资源池实际CUs分配，在包周期弹性资源池内添加队列时，如果配置的队列的扩缩容策略的最大CU设置过大，可能导致弹性资源池中所有队列最大CU之和超出弹性资源池规格，超出部分将按需计费，会增加整体使用成本。 如需降低该场景下的整体成本，则可以通过**弹性资源池规格变更**的操作，扩大弹性资源池的包周期CU（规格）。规格变更成功后，新的包周期CU（规格）范围内所有资源均按照包年包月计费，相比变更前（部分按需计费）更优惠。 弹性资源池计费说明请参考[弹性资源池计费](https://support.huaweicloud.com/price-dli/dli_12_0004.html)。 详细操作指导请参考[弹性资源池规格变更](https://support.huaweicloud.com/usermanual-dli/dli_01_0524.html)。 #### 弹性资源池约束与限制 表1弹性资源池约束限制 | 限制项 | 说明 | |:---|:---| | 资源规格 | - 当前弹性资源池最大的计算资源 32000CUs。 - 弹性资源池中可创建队列的最小CU： - 通用队列：4CUs - SQL队列：Spark SQL队列：8CUs。 | | 弹性资源池计费模式 | - 弹性资源池支持按需和包年包月的购买方式。 - 不支持切换弹性资源池的计费模式。 - 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 - 按需计费的弹性资源池默认勾选专属资源模式，自创建起按自然小时收费。 - 按需弹性资源池创建成功15分钟后方可删除。 | | 管理弹性资源池 | - 弹性资源池不支持切换区域。 - Flink 1.10及其以上版本的作业支持在弹性资源池运行。 - 弹性资源池网段设置后不支持更改。 - 仅支持查看30天以内的弹性资源池扩缩容历史。 - 弹性资源池无法直接访问公网。 | | 弹性资源池关联队列 | - 弹性资源池关联队列： - 仅支持关联按需计费模式的队列（包括专属队列）。 - 队列和弹性资源池状态正常，资源未被冻结。 | | 弹性资源池扩缩容 | - 弹性资源池CU设置、弹性资源池中添加/删除队列、修改弹性资源池中队列的扩缩容策略、系统自动触发弹性资源池扩缩容时都会引起弹性资源池CU的变化，部分情况下系统无法保证按计划扩容/缩容至目标CUs： - 弹性资源池扩容时，可能会由于物理资源不足导致弹性资源池无法扩容到设定的目标大小。 - 弹性资源池缩容时，系统不保证将队列资源完全缩容到设定的目标大小。 在执行缩容任务时，系统会先检查资源使用情况，判断是否存在缩容空间，如果现有资源无法按照最小缩容步长执行缩容任务，则弹性资源池可能缩容不成功，或缩容一部分规格的情况。 因资源规格不同可能有不同的缩容步长，通常是16CUs、32CUs、48CUs、64CUs等。 示例：弹性资源池规格为192CUs，资源池中的队列执行作业占用了68CUs，计划缩容至64CUs。 执行缩容任务时，系统判断剩余124CUs，按64CUs的缩容步长执行缩容任务，剩余60CUs资源无法继续缩容，因此弹性资源池执行缩容任务后规格为128CUs。 - 如果存在如Flink或Spark Streaming等作业持续运行在节点上，那么该节点无法按计划完成缩容。 | | 弹性资源池CU设置相关约束 | - 弹性资源池CU范围minCU**小于等于**实际CUs，如果扩容时minCU的目标值大于实际CUs，需要先扩容实际CUs，否则修改失败。 - 弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 - 弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 - 调整队列的CU范围、弹性资源池规格变更、弹性资源池的CU设置，均在下一个整点生效。 - 通过增加队列调整弹性资源池的实际CUs，立即生效。 | #### 创建弹性资源池 1. 在左侧导航栏单击"资源管理 \> 弹性资源池"，可进入弹性资源池管理页面。 2. 在弹性资源池管理界面，单击界面右上角的"购买弹性资源池"。 3. 在"购买弹性资源池"界面，填写具体的弹性资源池参数，具体参数填写参考如下。 表2参数说明 | 参数名称 | 描述 | |:---|:---| | 计费模式 | 选择弹性资源池的计费模式： - 包年/包月：预付费模式，按订单的购买周期计费。拥有专属的计算资源，空闲（无作业运行）时不会释放，使用体验更佳，价格比按需计费模式更优惠。 - 按需计费：后付费模式，默认勾选专属资源模式，空闲时资源不被释放。 | | 区域 | 选择弹性资源池所在的区域。区域指弹性资源池的物理数据中心所在的位置，不同区域的云服务之间内网互不相通；请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 | | 项目 | 每个区域默认对应一个项目，这个项目由系统预置。 | | 名称 | 弹性资源池的具体名称。 - 名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线或数字开头。 - 输入长度不能超过128个字符。 说明： 弹性资源池名称不区分大小写，系统会自动转换为小写。 | | 类型 | - **基础版：提供16-64CUs规格的资源** - 适用于对资源消耗不高、对资源高可靠性和高可用性要求不高的测试场景。 - 不支持高可靠与高可用。 - 不支持设置作业优先级。 - **标准版：提供64CUs及以上规格** **的资源** 具备强大的计算能力、高可用性、及灵活地资源管理能力，适用于大规模计算任务场景和有长期资源规划需求的业务场景。 | | CU范围 | 弹性资源池最大最小CU范围。 CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围，避免无限制的资源扩容风险。 "CU范围"参数中，左边为最小CU，右边为最大CU，根据情况分别设置。 - 弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 - 弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 弹性资源池至少可以满足弹性资源池中所有队列按最小CU运行，尽量满足队列按最大CU运行。 弹性资源池的规格（"规格"即"包周期CU"）等于创建时的最小CU，是首次创建时分配的资源数。即弹性资源池首次创建时，实际CUs=规格=最小CU。 | | 描述 | 创建的弹性资源池的描述信息。 | | 网段 | 规划弹性资源池所属的网段。如需使用DLI增强型跨源，弹性资源池网段与数据源网段不能重合。**弹性资源池网段设置后不支持更改**。 建议使用网段： 10.0.0.0\~10.255.0.0/16\~19 172.16.0.0\~172.31.0.0/16\~19 192.168.0.0\~192.168.0.0/16\~19 | | 启用IPv6 | 弹性资源池开启IPv6后可以使用IPv6地址与数据源（数据源的子网已启用IPv6）进行网络通信。 配置开启IPv6，将自动为弹性资源池分配IPv6网段。 - 仅在创建时支持开启IPv6。 - 开启后即同时拥有IPv4地址和IPv6地址，这两个IP地址都可以进行内网/公网访问。不支持单独使用IPv6。 - 不支持指定IPv6网段，由系统自定义分配。 - 开启后不支持关闭IPv6。 | | 企业项目 | 如果所建弹性资源池属于企业项目，可选择对应的企业项目。 企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《[企业管理用户指南](https://support.huaweicloud.com/usermanual-em/zh-cn_topic_0108763975.html)》。 说明： 只有开通了企业管理服务的用户才显示该参数。 | | 购买时长 | 选择"包年/包月"计费模式时，需要选择"购买时长"。 购买时长越长，优惠越多。可勾选"自动续费"，按月购买，自动续费周期为1个月。按年购买，自动续费周期为1年。 | | 标签 | 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签。 如您的组织已经设定DLI的相关标签策略，则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则，则可能会导致资源创建失败，请联系组织管理员了解标签策略详情。 具体请参考《[标签管理服务用户指南](https://support.huaweicloud.com/usermanual-tms/zh-cn_topic_0056266269.html)》。 说明： - 最多支持20个标签。 - 一个"键"只能添加一个"值"。 - 每个资源中的键名不能重复。 - 标签键：在输入框中输入标签键名称。 说明： 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格，不能以_sys_开头。 - 标签值：在输入框中输入标签值。 说明： 标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : +-@ 。 | 4. 参数填写完成后，单击"立即购买"，在界面上确认当前配置是否正确。 5. 单击"提交"完成创建。等待弹性资源池状态变成"可使用"表示当前弹性资源池创建成功。 6. 弹性资源池创建成功后，可以根据当前业务场景参考[典型场景示例：创建弹性资源池并运行作业](https://support.huaweicloud.com/usermanual-dli/dli_01_0515.html)和[典型场景示例：配置弹性资源池队列扩缩容策略](https://support.huaweicloud.com/usermanual-dli/dli_01_0516.html)完成后续操作。 #### 在弹性资源池中添加队列 创建完弹性资源池后，弹性资源池需要添加一个或多个队列用于后续作业的运行。本节操作介绍在弹性资源池中添加队列的操作步骤。 添加到弹性资源池中的队列不再单独计费，以弹性资源池为计费项计费。 当弹性资源池添加队列时会引起弹性资源CUs扩缩容变化。 1. 在左侧导航栏单击"弹性资源池"，可进入弹性资源池管理页面。 2. 选择要操作的弹性资源池，在"操作"列，单击"添加队列"。 3. 在"添加队列"界面，首先需要配置队列的基础配置，具体参数信息如下。 表3弹性资源池添加队列基础配置 | 参数名 | 参数描述 | |:---|:---| | 名称 | 弹性资源池添加的队列名称。 | | 类型 | - SQL队列：用于运行SQL作业。 - 通用队列：用于运行Spark作业 、Flink 作业。 | | 执行引擎 | 如果队列类型选择为"SQL队列"，则可以选择队列引擎是Spark。 | | 企业项目 | 选择队列的企业项目。弹性资源池支持添加不同企业项目的队列资源。 企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《[企业管理用户指南](https://support.huaweicloud.com/usermanual-em/zh-cn_topic_0108763975.html)》。 说明： 只有开通了企业管理服务的用户才显示该参数。 | | 描述 | 弹性资源池添加队列的描述信息。 | | 标签 | 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签。 如您的组织已经设定DLI的相关标签策略，则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则，则可能会导致资源创建失败，请联系组织管理员了解标签策略详情。 具体请参考《[标签管理服务用户指南](https://support.huaweicloud.com/usermanual-tms/zh-cn_topic_0056266269.html)》。 说明： - 最多支持20个标签。 - 一个"键"只能添加一个"值"。 - 每个资源中的键名不能重复。 - 标签键：在输入框中输入标签键名称。 说明： 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格，不能以_sys_开头。 - 标签值：在输入框中输入标签值。 说明： 标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : +-@ 。 | 4. 单击"下一步"，在"扩缩容策略"界面配置当前队列在弹性资源池的扩缩容策略。 图1添加队列时配置扩缩容策略 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000002389964297.png "点击放大") 单击"新增"，可以添加不同优先级、时间段、"最小CU"和"最大CU"扩缩容策略。每条扩缩容策略的参数说明如下： 表4扩缩容策略参数说明 | 参数名 | 参数描述 | |:---|:---| | 优先级 | 当前弹性资源池中的优先级数字越大表示优先级越高。当前优先级支持的范围为：1到100。 | | 时间段 | 时间段设置仅支持整点，左侧为开始时间，右侧为结束时间。请注意以下说明： - 时间区间包括开始时间，不包括结束时间即\[开始时间, 结束时间)。 例如当前选择的时间段范围为：01--17，则表示当前扩缩容规则生效时间范围为\[01,17)。 - 同一队列不同优先级的时间段区间不能有交集。 | | 最小CU | 当前扩缩容策略支持的最小CU数。 - 在全天的任意一个时间段内，弹性资源池中所有队列的最小CU数之和必须小于等于弹性资源池的最小CU数。 - 当队列的最小CUs小于16CUs时，在队列属性中设置的"最大spark driver实例数"和"最大预拉起spark driver实例数"不生效。了解[队列属性设置](https://support.huaweicloud.com/usermanual-dli/dli_01_0563.html)。 | | 最大CU | 当前扩缩容策略支持的最大CU数。 在全天的任意一个时间段内，弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 - 基础版弹性资源池队列最大CU需为4的倍数。 - 标准版弹性资源池队列最大CU需为16的倍数。 | | 继承资源池最大CU | 勾选后，在当前扩缩容策略的时间段内，队列的最大CU等于资源池的最大CU。 后续在弹性资源池CU设置增加弹性资源池的最大CU后，无需重复调整队列的最大CU，该时间段段队列的最大CU自动调整至与资源池的最大CU一致。 仅在当前扩缩容策略的时间段生效，其他时间段需单独配置。 | ![](https://support.huaweicloud.com/usermanual-dli/public_sys-resources/note_3.0-zh-cn.png) - 首条扩缩容策略是默认策略，不能删除和修改时间段配置。 - Flink作业不支持触发弹性资源池队列的自动扩缩容。 5. 单击"确定"完成添加队列配置。弹性资源池队列添加完成后，可以参考[调整弹性资源池中队列的扩缩容策略](https://support.huaweicloud.com/usermanual-dli/dli_01_0506.html)查看弹性资源池添加的所有队列配置和策略信息。