文档首页/ 数据湖探索 DLI/ 用户指南/ 创建弹性资源池和队列/ 典型场景示例:创建弹性资源池并运行作业
更新时间:2024-11-07 GMT+08:00

典型场景示例:创建弹性资源池并运行作业

本章节主要介绍从创建弹性资源池、创建增强型跨源、添加队列到弹性资源池并运行作业的一个完整流程,帮助您更好、更方便的使用弹性资源池。
图1 创建弹性资源池运行作业流程图
表1 创建新队列时绑定弹性资源池流程说明

阶段

说明

参考文档

步骤一:创建弹性资源池

创建弹性资源池,配置弹性资源池的基本信息,如:计费模式、CU范围、网段等配置。

创建弹性资源池并添加队列

步骤二:添加队列到弹性资源池

添加作业运行的队列到弹性资源池。具体内容包括:

  1. 设置弹性资源池队列的名称、队列类型等基本信息。
  2. 配置当前队列的扩缩容策略,包括队列策略的优先级、时间段、最大最小CU范围等配置。

创建弹性资源池并添加队列

调整弹性资源池中队列的扩缩容策略

(可选)步骤三:创建增强型跨源连接

如果运行的作业需要跨源访问其他外部数据源数据,如作业需要访问DWS、RDS等数据时,需要创建跨源连接。

创建的跨源连接需要和弹性资源池进行绑定。

创建增强型跨源连接

步骤四:运行作业

根据业务需求创建和提交作业。

管理SQL作业

Flink作业概述

创建Spark作业

步骤一:创建弹性资源池

  1. 登录DLI管理控制台,在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。
  2. 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。
  3. 在“购买弹性资源池”界面,填写具体的弹性资源池参数,具体参数填写参考如下。
    • 名称:填写具体的弹性资源池名称。例如设置为:pool_test。
    • CU范围:弹性资源池扩缩容的CU范围。
    • 网段:配置弹性资源池网段。例如当前配置为172.16.0.0/18。
    • 其他参数根据需要选择和配置。
    图2 创建弹性资源池

    详细的弹性资源池创建流程可以参考创建弹性资源池并添加队列

  4. 参数填写完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成弹性资源池创建。
  5. 弹性资源池创建任务提交后,会在弹性资源池管理界面的“状态”列显示当前资源池的创建状态,当状态显示为“可使用”时表示资源池可以正常使用。

步骤二:添加队列到弹性资源池

  1. 在已创建的弹性资源池的“操作”列,单击“添加队列”进入弹性资源池添加的队列的操作界面。
  2. 首先配置弹性资源池队列的基本信息,具体参数参考如下。
    • 名称:添加的队列的名称。
    • 类型:根据作业需要选择队列类型。本示例选择为:通用队列。

      SQL队列类型:用于运行Spark SQL和Trino作业。

      通用队列类型:用于运行Flink和Spark Jar作业。

    • 其他参数请根据需要配置。
    图3 添加队列
  3. 配置完基本参数后,单击“下一步”,在队列的扩缩容策略配置界面,修改扩缩容策略配置:最小CU:64、最大CU:64。
    图4 队列扩缩容策略配置
  4. 单击“确定”完成添加队列操作。

(可选)步骤三:创建增强型跨源连接

本示例演示的操作需要跨源连接RDS外部数据源,所以需要创建跨源连接。如果作业不需要连接外部数据源,则该步骤可以跳过。

  1. 登录RDS控制台,创建RDS数据库实例。具体请参考创建RDS实例。登录RDS实例后,单击“新建数据库”,创建名称为“test2”的数据库。
  2. 在“test2”的数据库所在行,操作列,单击“SQL查询”,输入以下创建表语句,单击“执行SQL”创建表“tabletest2”。建表语句参考如下:
    CREATE TABLE `tabletest2` (
    	`id` int(11) unsigned,
    	`name` VARCHAR(32)
    )	ENGINE = InnoDB	DEFAULT CHARACTER SET = utf8mb4;
  3. 在RDS管理控制台,单击“实例管理”,单击已创建的RDS具体实例名称,查看该RDS实例的“基本信息”。
  4. 在“基本信息”的“连接信息”中获取该实例的“内网地址”、“数据库端口”、“虚拟私有云”和“子网”信息,方便后续操作步骤使用。
  5. 单击“连接信息”中的安全组名称,在“入方向规则”中添加放通弹性资源池网段的规则。例如本示例为3弹性资源池网段为“172.16.0.0/18”,数据库端口为3306,则规则添加为:优先级选为:1,策略选为:允许,协议级别和端口选择:TCP和3306,类型:IPv4,源地址为:172.16.0.0/18

    单击“确定”完成安全组规则添加。

  6. 登录DLI管理控制台,在左侧导航栏单击“跨源管理”,在跨源管理界面,单击“增强型跨源”,单击“创建”。
  7. 在增强型跨源创建界面,配置具体的跨源连接参数。具体参考如下。
    • 连接名称:设置具体的增强型跨源名称。
    • 弹性资源池:选择步骤一:创建弹性资源池中已经创建的好的弹性资源池。

      如果该步骤不选择弹性资源池,可以创建跨源完后,在增强型跨源界面,在对应跨源连接所在行的“操作”列,单击“更多 > 绑定弹性资源池”进行绑定。

    • 虚拟私有云:选择4中获取的RDS的虚拟私有云。
    • 子网:选择4中获取的RDS的子网。
    • 其他参数可以根据需要选择配置。

    参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为:“已激活”后可以进行后续步骤。

  8. 单击“资源管理 > 队列管理”,选择操作的队列,如本示例的“general_test”,在操作列,单击“更多 > 测试地址连通性”。
  9. 在“测试连通性”界面,根据4中获取的RDS连接信息,地址栏输入“RDS内网地址:RDS数据库端口”,单击“测试”测试到RDS网络是否可达。

步骤四:运行作业

本示例通过在弹性资源池队列上运行一个Flink SQL举例演示。

  1. 在DLI管理控制台,单击“作业管理 > Flink作业”,在Flink作业管理界面,单击“创建作业”。
  2. 在创建作业界面,类型选择“Flink SQL”,名称填写为:testFlinkSqlJob。单击“确定”,跳转到Flink作业编辑界面。
  3. 在Flink SQL作业编辑界面,配置如下参数。
    图5 创建Flink SQL作业
    • 所属队列:选择步骤二:添加队列到弹性资源池中弹性资源池添加的队列“general_test”。
    • 保存作业日志:勾选。
    • OBS桶:选择保存作业日志的OBS桶,根据提示进行OBS桶权限授权。
    • 开启Checkpoint:勾选。
    • Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。具体加粗的参数需要根据实际情况修改。
      CREATE SINK STREAM car_info (id INT, name STRING) WITH (
        type = "rds",
        region = "", /* 根据情况修改为当前的region ID*/
        'pwd_auth_name'="xxxxx", // DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。
        db_url = "mysql://192.168.x.x:3306/test2", /* 格式为mysql://RDS数据库实例的内网地址:RDS数据库端口/RDS创建的数据库名  */  
        table_name = "tabletest2"  /* RDS数据下的表名 */
      );
      INSERT INTO
        car_info
      SELECT
        13,
        'abc';
  4. 单击“语义校验”确保SQL语义校验成功。单击“保存”,保存作业。单击“启动”,启动作业,确认作业参数信息,单击“立即启动”开始执行作业。
  5. 等待作业运行完成,作业状态显示为“已完成”。
  6. 登录RDS控制台,单击RDS数据库实例,单击创建的数据库名,如“test2”,在创建的表“tabletest2”所在行的“操作”列,单击“SQL查询”。
  7. 在“SQL查询”界面,单击“执行SQL”,查看RDS表数据已写入成功。
    图6 RDS表查询结果