# 典型场景示例：创建弹性资源池并运行作业 本章节主要介绍从创建弹性资源池、创建增强型跨源、添加队列到弹性资源池并运行作业的一个完整流程，帮助您更好、更方便的使用弹性资源池。 图1创建弹性资源池运行作业流程图 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000001309847545.png "点击放大") 表1创建新队列时绑定弹性资源池流程说明 | 阶段 | 说明 | 参考文档 | |:---|:---|:---| | 步骤一：创建弹性资源池 | 创建弹性资源池，配置弹性资源池的基本信息，如：计费模式、CU范围、网段等配置。 | [创建弹性资源池并添加队列](https://support.huaweicloud.com/usermanual-dli/dli_01_0505.html) | | 步骤二：添加队列到弹性资源池 | 添加作业运行的队列到弹性资源池。具体内容包括： 1. 设置弹性资源池队列的名称、队列类型等基本信息。 2. 配置当前队列的扩缩容策略，包括队列策略的优先级、时间段、最大最小CU范围等配置。 | [创建弹性资源池并添加队列](https://support.huaweicloud.com/usermanual-dli/dli_01_0505.html) [调整弹性资源池中队列的扩缩容策略](https://support.huaweicloud.com/usermanual-dli/dli_01_0506.html) | | （可选）步骤三：创建增强型跨源连接 | 如果运行的作业需要跨源访问其他外部数据源数据，如作业需要访问DWS、RDS等数据时，需要创建跨源连接。 创建的跨源连接需要和弹性资源池进行绑定。 | [创建增强型跨源连接](https://support.huaweicloud.com/usermanual-dli/dli_01_0006.html) | | 步骤四：运行作业 | 根据业务需求创建和提交作业。 | [管理SQL作业](https://support.huaweicloud.com/usermanual-dli/dli_01_0017.html) [Flink作业概述](https://support.huaweicloud.com/usermanual-dli/dli_01_0403.html) [创建Spark作业](https://support.huaweicloud.com/usermanual-dli/dli_01_0384.html) | #### 步骤一：创建弹性资源池 1. 登录DLI管理控制台，在左侧导航栏单击"资源管理 \> 弹性资源池"，可进入弹性资源池管理页面。 2. 在弹性资源池管理界面，单击界面右上角的"购买弹性资源池"。 3. 在"购买弹性资源池"界面，填写具体的弹性资源池参数，具体参数填写参考如下。 - 名称：填写具体的弹性资源池名称。例如设置为：pool_test。 - CU范围：弹性资源池扩缩容的CU范围。 - 网段：配置弹性资源池网段。例如当前配置为172.16.0.0/18。 - 其他参数根据需要选择和配置。 图2创建弹性资源池 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000001262167396.png "点击放大") 详细的弹性资源池创建流程可以参考[创建弹性资源池并添加队列](https://support.huaweicloud.com/usermanual-dli/dli_01_0505.html)。 4. 参数填写完成后，单击"立即购买"，确认配置信息无误后，单击"提交"完成弹性资源池创建。 5. 弹性资源池创建任务提交后，会在弹性资源池管理界面的"状态"列显示当前资源池的创建状态，当状态显示为"可使用"时表示资源池可以正常使用。 #### 步骤二：添加队列到弹性资源池 1. 在已创建的弹性资源池的"操作"列，单击"添加队列"进入弹性资源池添加的队列的操作界面。 2. 首先配置弹性资源池队列的基本信息，具体参数参考如下。 - 名称：添加的队列的名称。 - 类型：根据作业需要选择队列类型。本示例选择为：通用队列。 SQL队列类型：用于运行Spark SQL作业。 通用队列类型：用于运行Flink和Spark Jar作业。 - 其他参数请根据需要配置。 图3添加队列 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000001310007489.png "点击放大") 3. 配置完基本参数后，单击"下一步"，在队列的扩缩容策略配置界面，修改扩缩容策略配置：最小CU：64、最大CU：64。 图4队列扩缩容策略配置 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000001262556796.png "点击放大") 4. 单击"确定"完成添加队列操作。 #### （可选）步骤三：创建增强型跨源连接 本示例演示的操作需要跨源连接RDS外部数据源，所以需要创建跨源连接。如果作业不需要连接外部数据源，则该步骤可以跳过。 1. 登录RDS控制台，创建RDS数据库实例。 具体操作请参见[购买RDS for MySQL实例](https://support.huaweicloud.com/usermanual-rds-mysql/rds_10_0028.html)。 2. 登录RDS实例后，单击"新建数据库"，创建名称为"test2"的数据库。 3. 在"test2"的数据库所在行，操作列，单击"SQL查询"，输入以下创建表语句，单击"执行SQL"创建表"tabletest2"。建表语句参考如下： ``` CREATE TABLE `tabletest2` ( `id` int(11) unsigned, `name` VARCHAR(32) )ENGINE = InnoDBDEFAULT CHARACTER SET = utf8mb4; ``` 4. 在RDS管理控制台，单击"实例管理"，单击已创建的RDS具体实例名称，查看该RDS实例的"基本信息"。 5. 在"基本信息"的"连接信息"中获取该实例的"内网地址"、"数据库端口"、"虚拟私有云"和"子网"信息，方便后续操作步骤使用。 6. 单击"连接信息"中的安全组名称，在"入方向规则"中添加放通弹性资源池网段的规则。例如本示例为[3]弹性资源池网段为"172.16.0.0/18"，数据库端口为3306，则规则添加为：优先级选择：1，策略选择：允许，协议级别和端口选择：TCP和3306，类型：IPv4，源地址为：172.16.0.0/18 单击"确定"完成安全组规则添加。 7. 登录DLI管理控制台，在左侧导航栏单击"跨源管理"，在跨源管理界面，单击"增强型跨源"，单击"创建"。 8. 在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 - 连接名称：设置具体的增强型跨源名称。 - 弹性安全策略资源池：选择[步骤一：创建弹性资源池]中已经创建的好的弹性资源池。 ![](https://support.huaweicloud.com/usermanual-dli/public_sys-resources/note_3.0-zh-cn.png) 如果该步骤不选择弹性资源池，可以创建跨源完后，在增强型跨源界面，在对应跨源连接所在行的"操作"列，单击"更多 \> 绑定弹性资源池"进行绑定。 - 虚拟私有云：选择[5]中获取的RDS的虚拟私有云。 - 子网：选择[5]中获取的RDS的子网。 - 其他参数可以根据需要选择配置。 参数配置完成后，单击"确定"完成增强型跨源配置。单击创建的跨源连接名称，查看跨源连接的连接状态，等待连接状态为："已激活"后可以进行后续步骤。 9. 单击"资源管理 \> 队列管理"，选择操作的队列，如本示例的"general_test"，在操作列，单击"更多 \> 测试地址连通性"。 10. 在"测试连通性"界面，根据[5]中获取的RDS连接信息，地址栏输入"RDS内网地址:RDS数据库端口"，单击"测试"测试到RDS网络是否可达。 #### 步骤四：运行作业 本示例通过在弹性资源池队列上运行一个Flink SQL举例演示。 1. 在DLI管理控制台，单击"作业管理 \> Flink作业"，在Flink作业管理界面，单击"创建作业"。 2. 在创建作业界面，类型选择"Flink SQL"，名称填写为：testFlinkSqlJob。单击"确定"，跳转到Flink作业编辑界面。 3. 在Flink SQL作业编辑界面，配置如下参数。 图5创建Flink SQL作业 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000001262007476.png "点击放大") - 所属队列：选择[步骤二：添加队列到弹性资源池]中弹性资源池添加的队列"general_test"。 - 保存作业日志：勾选。 - OBS桶：选择保存作业日志的OBS桶，根据提示进行OBS桶权限授权。 - 开启Checkpoint：勾选。 - Flink作业编辑框中输入具体的作业SQL，本示例作业参考如下。具体加粗的参数需要根据实际情况修改。 ``` CREATE SINK STREAM car_info (id INT, name STRING) WITH ( type = "rds", region = "", /* 根据情况修改为当前的region ID*/ 'pwd_auth_name'="xxxxx", // DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。 db_url = "mysql://192.168.x.x:3306/test2", /* 格式为mysql://RDS数据库实例的内网地址:RDS数据库端口/RDS创建的数据库名 */ table_name = "tabletest2" /* RDS数据下的表名 */ ); INSERT INTO car_info SELECT 13, 'abc'; ``` 4. 单击"语义校验"确保SQL语义校验成功。单击"保存"，保存作业。单击"启动"，启动作业，确认作业参数信息，单击"立即启动"开始执行作业。 5. 等待作业运行完成，作业状态显示为"已完成"。 6. 登录RDS控制台，单击RDS数据库实例，单击创建的数据库名，如"test2"，在创建的表"tabletest2"所在行的"操作"列，单击"SQL查询"。 7. 在"SQL查询"界面，单击"执行SQL"，查看RDS表数据已写入成功。 图6RDS表查询结果 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000001309687489.png "点击放大")