使用DLI提交SQL作业查询RDS MySQL数据

操作场景

DLI可以查询存储在RDS数据库中的数据，本节操作介绍使用DLI提交SQL作业查询RDS MySQL数据的操作步骤。

本例创建RDS实例并新建数据库和表，创建DLI弹性资源池队列，通过增强型跨源连接打通DLI弹性资源池和RDS实例的网络，并提交SQL作业跨源访问RDS的表数据。

操作流程

使用DLI提交SQL作业查询RDS MySQL数据操作流程如表1所示。

开始进行如下操作前，请务必参考准备工作完成必要操作。

准备工作

• 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。
• 配置DLI委托访问授权
  DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。

  1. 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置 > 服务授权”。
  2. 在委托设置页面，勾选基础使用、跨源场景、运维场景的委托权限后，单击“更新委托权限”。
  3. 查看并了解更新委托的提示信息，单击“确定”。完成DLI委托权限的更新。
     图1 配置DLI委托访问授权
     
  4. 完成配置后，在IAM控制台的委托列表中，可查看到dli_management_agency的委托信息。

步骤1：创建RDS MySQL实例

步骤2：创建RDS数据库表

1. 登录RDS管理控制台。
2. 在管理控制台左上角选择区域和项目。
3. 在“实例管理页面”，找到您已经创建的RDS实例，记录并保存RDS实例的内网地址。
   图2 内网地址
   
4. 单击所创建RDS实例的“登录”，跳转至“数据管理服务-DAS”。输入相关账户信息，单击“测试连接”。显示连接成功后，单击“登录”，进入“实例登录”页面。
   图3 登录RDS
   
   图4 实例登录
   
5. 登录RDS实例后，单击“新建数据库”，创建名称为“dli_demo”的数据库。
6. 单击“SQL查询”，执行如下SQL创建表。

   CREATE TABLE `dli_demo`.`tabletest` (
   	`id` VARCHAR(32) NOT NULL,
   	`name` VARCHAR(32) NOT NULL,
   	PRIMARY KEY (`id`)
   )	ENGINE = InnoDB
   	DEFAULT CHARACTER SET = utf8mb4;

步骤3：创建弹性资源池并添加队列

执行跨源场景的SQL作业，不能使用系统已有的default队列，需要您创建SQL队列，本例创建弹性资源池“dli_resource_pool”、队列“dli_queue_01”。

1. 登录DLI管理控制台。
2. 在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。
3. 在弹性资源池管理界面，单击界面右上角的“购买弹性资源池”。
4. 在“购买弹性资源池”界面，填写具体的弹性资源池参数。
5. 本例在华东-上海二区域购买按需计费的弹性资源池。相关参数说明如表3所示。

   表3 参数说明

   参数名称	参数说明	配置样例
   区域	选择弹性资源池所在区域。	华东-上海二
   项目	每个区域默认对应一个项目，由系统预置。	系统默认项目
   名称	弹性资源池名称。	dli_resource_pool
   规格	选择弹性资源池规格。	标准版
   CU范围	弹性资源池最大最小CU范围。	64-64
   网段	规划弹性资源池所属的网段。如需使用DLI增强型跨源，弹性资源池网段与数据源网段不能重合。弹性资源池网段设置后不支持更改。	172.16.0.0/19
   企业项目	选择对应的企业项目。	default

6. 参数填写完成后，单击“立即购买”，在界面上确认当前配置是否正确。
7. 单击“提交”完成弹性资源池的创建。
8. 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。
9. 配置队列的基础配置，具体参数信息如下。

   表4 弹性资源池添加队列基础配置

   参数名称	参数说明	配置样例
   名称	弹性资源池添加的队列名称。	dli_queue_01
   类型	选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。	_
   执行引擎	SQL队列可以选择队列引擎为Spark或者Trino。	_
   企业项目	选择对应的企业项目。	default

10. 单击“下一步”，配置队列的扩缩容策略。

    单击“新增”，可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。

    本例配置的扩缩容策略如图5所示。

    图5 添加队列时配置扩缩容策略
    

    表5 扩缩容策略参数说明

    参数名称	参数说明	配置样例
    优先级	当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略，默认优先级为1。	1
    时间段	首条扩缩容策略是默认策略，不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。	00-24
    最小CU	设置扩缩容策略支持的最小CU数。	16
    最大CU	当前扩缩容策略支持的最大CU数。	64

11. 单击“确定”完成添加队列配置。

步骤4：创建增强型跨源连接

1. 在RDS实例所在的安全组上放通DLI队列网段
   1. 在RDS管理控制台，在RDS实例列表页单击对应的RDS实例名称，进入到RDS实例的基本信息页面。
   2. 单击“连接管理”配置安全组规则，在“入方向规则”中添加放通队列网段的规则。

      例如，本示例队列网段为“172.16.0.0/19”，规则添加为：

      • 优先级选为：1，策略选为：允许
      • 类型：IPv4
      • 协议端口：基本协议\自定义TCP，端口值不填
      • 源地址为：选择IP地址，172.16.0.0/19

      单击“确定”完成安全组规则添加。

2. 创建RDS与DLI的增强型跨源连接。

   创建增强型跨源连接具体操作请参考创建增强型跨源连接。

   

   绑定跨源的弹性资源池的网段和数据源网段不能重合。

   1. 在DLI管理控制台左侧导航栏中，选择“跨源管理”。
   2. 选择“增强型跨源”页签，单击左上角的“创建”按钮。配置参数：
      • 连接名称：dlirds
      • 弹性资源池：选择步骤3：创建弹性资源池并添加队列中创建的弹性资源池。
      • 虚拟私有云：选择MySQL 实例所在的VPC，即步骤2：创建RDS数据库表中选择的VPC。
      • 子网：选择MySQL 实例所在的子网，即步骤2：创建RDS数据库表中选择的子网。

        在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“子网”，也可获取对应信息。

   3. 单击“确定”，创建增强型跨源连接。
   4. 在“增强型跨源”页签，单击创建的连接名称：dlirds，查看对等连接ID及连接状态，连接状态为“已激活”表示连接成功。
   5. 测试队列与RDS实例连通性。
      1. 单击“资源管理 > 队列管理”，选择步骤3：创建弹性资源池并添加队列添加的队列，单击“操作”列中的“更多 > 测试地址连通性”。
         图6 检测地址连通性
         
      2. 输入步骤2：创建RDS数据库表中记录的RDS MySQL实例内网地址，进行网络连通性测试。
         

         在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“内网地址”，即可获取对应信息。

         • 测试结果显示可达，则DLI队列与MySQL实例的网络已经联通。
           图7 测试结果
           
         • 如果测试结果不可达，请参考创建跨源成功但测试网络连通性失败怎么办？进行排查。

           排查完成后，重新进行网络连通性测试。

步骤5：创建跨源认证

跨源分析场景中，如果在作业中直接配置认证信息会触发密码泄露的风险，因此推荐您使用DLI提供的跨源认证方式来存储数据源的认证信息。

RDS数据源在Spark SQL作业场景可以创建Password类型的跨源认证。

1. 登录DLI管理控制台。
2. 选择“跨源管理 > 跨源认证”。
3. 单击“创建”。

   填写认证信息，详细参数说明请参考表6。

   表6 跨源认证参数说明

   参数	参数说明
   类型	选择Password。
   认证信息名称	所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 输入长度不能超过128个字符。
   用户名称	访问RDS实例用户名。
   用户密码	RDS实例登录密码。

   图8 创建认证信息-Password
   

步骤6：提交SQL作业

本节示例以SQL作业为例说明如何跨源访问RDS表。

1. 在DLI管理控制台的左侧导航栏中，单击“SQL编辑器”，进入SQL作业编辑器页面。
2. 在“SQL编辑器”页面右侧的编辑窗口中，输入如下SQL语句创建数据库db1，单击“执行”。

   create database db1;

3. 在编辑窗口中，选择队列“dli_queue_01”和数据库“db1”。输入如下SQL语句创建表，向RDS表插入数据，以及查询数据，单击“执行”。
   根据界面显示的执行结果查询RDS表数据信息，整个操作完成。

   CREATE TABLE IF NOT EXISTS rds_test USING JDBC OPTIONS (
     'url' = 'jdbc:mysql://{{ip}}:{{port}}',  //RDS内网地址及端口
     'driver' = 'com.mysql.jdbc.Driver',
     'dbtable' = 'dli_demo.tabletest', //在RDS创建的库名及表名
     'passwdauth'="xxxxx" // DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。
   )
   
   insert into rds_test VALUES ('123','abc');
   
   
   SELECT * from rds_test;