使用DLI提交SQL作业查询RDS MySQL数据
操作场景
DLI可以查询存储在RDS数据库中的数据，本节操作介绍使用DLI提交SQL作业查询RDS MySQL数据的操作步骤。
本例创建RDS实例并新建数据库和表，创建DLI弹性资源池队列，通过增强型跨源连接打通DLI弹性资源池和RDS实例的网络，并提交SQL作业跨源访问RDS的表数据。
操作流程
使用DLI提交SQL作业查询RDS MySQL数据操作流程如表1所示。
开始进行如下操作前，请务必参考准备工作完成必要操作。
准备工作
- 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。
- 配置DLI委托访问授权。
DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。
- 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置 > 服务授权”。
- 在委托设置页面，勾选基础使用、跨源场景、运维场景的委托权限后，单击“更新委托权限”。
- 查看并了解更新委托的提示信息，单击“确定”。完成DLI委托权限的更新。
图1 配置DLI委托访问授权
- 完成配置后，在IAM控制台的委托列表中，可查看到dli_management_agency的委托信息。
- 配置DLI作业桶。
请务必在使用DLI提交作业前配置DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。
参考配置DLI作业桶在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。
步骤1：创建RDS MySQL实例
本样例中，假设作业名称为“JobSample”，采用RDS服务作为数据源，创建RDS MySQL实例。
具体操作请参见购买RDS for MySQL实例。
- 登录RDS管理控制台。
- 在管理控制台左上角选择区域和项目。
- 在“实例管理”页面，单击“购买数据库实例”。
- 在购买数据库实例页面，选择计费模式，填写并选择实例相关信息后，单击“立即购买”。
更多RDS实例的参数配置信息请参考购买RDS实例。
表2 RDS MySQL实例参数配置信息 参数名称
参数说明
取值样例
计费模式
选择RDS实例的计费模式。
- 包年/包月：一种预付费模式，即先付费再使用，按照订单的购买周期进行结算。购买周期越长，享受的折扣越大。一般适用于需求量长期稳定的成熟业务。
- 按需计费：一种后付费模式，即先使用再付费，按照云数据库RDS实际使用时长计费，秒级计费，按小时结算。按需计费模式允许您根据实际业务需求灵活地调整资源使用，无需提前预置资源，从而降低预置过多或不足的风险。
按需计费
区域
资源所在的区域。
不同区域内的产品内网不互通，且创建后不能更换，请谨慎选择。
华东-上海二
实例名称
实例名称。
实例名称长度最小为4字符，最大为64个字符，如果名称包含中文，则不超过64字节（注意：一个中文字符占用3个字节），必须以字母或中文开头，区分大小写，可以包含字母、数字、中划线、下划线或中文，不能包含其他特殊字符。
创建多个实例和只读实例时，实例名称长度会发生变化，具体以实际页面显示情况为准。
rds-demo
数据库引擎
MySQL
MySQL
数据库版本
选用RDS for MySQL数据库时，请根据实际业务需求选择合适的数据库引擎版本。建议您选择当前可用的最高版本数据库，因其性能更稳定，安全性更高，使用更可靠。
8.0
实例类型
选择实例的主备类型。
- 主备：采用一主一备的经典高可用架构，主备实例的每个节点的规格保持一致。备机提高了实例的可靠性，创建主机的过程中，会同步创建备机，备机创建成功后，用户不可见。
- 单机：采用单个数据库节点部署架构，与主流的主备实例相比，它只包含一个节点，但具有高性价比。适用于个人学习、微型网站以及中小企业的开发测试环境。
单机
存储类型
实例的存储类型决定实例的读写速度。最大吞吐量越高，读写速度越快。
SSD云盘
可用区
对于单机实例，仅需选择单个可用区。
-
时区
由于世界各国家与地区经度不同，地方时也有所不同，因此会划分为不同的时区。时区可在创建实例时选择，后期可修改。
默认
性能规格
实例的CPU和内存。不同性能规格对应不同连接数和最大IOPS。
2vCPUs | 4GB
存储空间
如果存储类型为SSD云盘或极速型SSD，可设置存储空间自动扩容，当存储空间可用率过小时，会自动扩容存储空间。
40GB
磁盘加密
选择是否开启磁盘加密功能。
- 不加密：未开启加密功能。
- 加密：选择加密后会提高数据安全性，但对数据库读写性能有少量影响，请按照您的使用策略进行选择。
更多磁盘加密的相关描述信息请参考购买RDS for MySQL实例。
不加密
虚拟私有云
选择已有的虚拟私有云。
如需重新创建VPC和子网，请参考。
说明：跨源场景数据源网段和弹性资源池的网段不能重合。
-
数据库端口
默认使用3306端口，实例创建成功后可修改。
RDS for MySQL数据库端口设置范围为1024～65535（其中12017、33071、33062被RDS系统占用不可设置）。
3306
安全组
安全组限制实例的安全访问规则，加强云数据库RDS服务与其他服务间的安全访问。
数据源的安全组需放通DLI弹性资源池的网段。
-
设置密码
设置实例的登录密码。
-
管理员账号
数据库的登录名默认为root。
root
管理员密码
设置管理员密码。
所设置的密码长度为8~32个字符，至少包含大写字母、小写字母、数字、特殊字符三种字符的组合，其中允许输入 ~ ! @ # $ % ^ * - _ = + ? , ( ) & . | 特殊字符。请您输入高强度密码并定期修改，以提高安全性，防止出现密码被暴力破解等安全风险。
如果您提供的密码被系统视为弱密码，您将收到错误提示，请提供更高强度的密码。
请妥善保管您的密码，因为系统将无法获取您的密码信息。
-
参数模板
数据库参数模板就像是数据库引擎配置值的容器，参数模板中的参数可应用于一个或多个相同类型的数据库实例。
系统默认模板：Default-MySQL-5.7
表名大小写
配置表名不区分大小写。
不区分大小写
企业项目
对于已成功关联企业项目的用户，仅需在“企业项目”下拉框中选择目标项目。
default
购买数量
实例购买数量
1
- 单击“立即购买”，进入规格确认页面。
- 单击“提交”，完成购买RDS MySQL实例。
- 实例创建成功后，用户可以在“实例管理”页面对其进行查看和管理。
步骤2：创建RDS数据库表
- 登录RDS管理控制台。
- 在管理控制台左上角选择区域和项目。
- 在“实例管理页面”，找到您已经创建的RDS实例，记录并保存RDS实例的内网地址。
图2 内网地址
- 单击所创建RDS实例的“登录”，跳转至“数据管理服务-DAS”。输入相关账户信息，单击“测试连接”。显示连接成功后，单击“登录”，进入“实例登录”页面。
图3 登录RDS
图4 实例登录
- 登录RDS实例后，单击“新建数据库”，创建名称为“dli_demo”的数据库。
- 单击“SQL查询”，执行如下SQL创建表。
CREATE TABLE `dli_demo`.`tabletest` ( `id` VARCHAR(32) NOT NULL, `name` VARCHAR(32) NOT NULL, PRIMARY KEY (`id`) ) ENGINE = InnoDB DEFAULT CHARACTER SET = utf8mb4;
步骤3：创建弹性资源池并添加队列
执行跨源场景的SQL作业，不能使用系统已有的default队列，需要您创建SQL队列，本例创建弹性资源池“dli_resource_pool”、队列“dli_queue_01”。
- 登录DLI管理控制台。
- 在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。
- 在弹性资源池管理界面，单击界面右上角的“购买弹性资源池”。
- 在“购买弹性资源池”界面，填写具体的弹性资源池参数。
- 参数填写完成后，单击“立即购买”，在界面上确认当前配置是否正确。
- 单击“提交”完成弹性资源池的创建。
- 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。
- 配置队列的基础配置，具体参数信息如下。
表4 弹性资源池添加队列基础配置 参数名称
参数说明
配置样例
名称
弹性资源池添加的队列名称。
dli_queue_01
类型
选择创建的队列类型。
- 执行SQL作业请选择SQL队列。
- 执行Flink或Spark作业请选择通用队列。
SQL作业场景请选择“SQL队列”。
其他场景请选择“通用队列”。
执行引擎
SQL队列可以选择队列引擎为Spark或者HetuEngine。
Spark
企业项目
选择对应的企业项目。
default
- 单击“下一步”，配置队列的扩缩容策略。
单击“新增”，可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。
本例配置的扩缩容策略如图5所示。表5 扩缩容策略参数说明 参数名称
参数说明
配置样例
优先级
当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略，默认优先级为1。
1
时间段
首条扩缩容策略是默认策略，不能删除和修改时间段配置。
即设置00-24点的扩缩容策略。
00-24
最小CU
设置扩缩容策略支持的最小CU数。
16
最大CU
当前扩缩容策略支持的最大CU数。
64
- 单击“确定”完成添加队列配置。
步骤4：创建增强型跨源连接
- 在RDS实例所在的安全组上放通DLI队列网段
- 创建RDS与DLI的增强型跨源连接。
创建增强型跨源连接具体操作请参考创建增强型跨源连接。
绑定跨源的弹性资源池的网段和数据源网段不能重合。
- 在DLI管理控制台左侧导航栏中，选择“跨源管理”。
- 选择“增强型跨源”页签，单击左上角的“创建”按钮。配置参数：
- 连接名称：dlirds
- 弹性资源池：选择步骤3：创建弹性资源池并添加队列中创建的弹性资源池。
- 虚拟私有云：选择MySQL 实例所在的VPC，即步骤2：创建RDS数据库表中选择的VPC。
- 子网：选择MySQL 实例所在的子网，即步骤2：创建RDS数据库表中选择的子网。
在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“子网”，也可获取对应信息。
- 单击“确定”，创建增强型跨源连接。
- 在“增强型跨源”页签，单击创建的连接名称：dlirds，查看对等连接ID及连接状态，连接状态为“已激活”表示连接成功。
- 测试队列与RDS实例连通性。
- 单击“资源管理 > 队列管理”，选择步骤3：创建弹性资源池并添加队列添加的队列，单击“操作”列中的“更多 > 测试地址连通性”。
图6 检测地址连通性
- 输入步骤2：创建RDS数据库表中记录的RDS MySQL实例内网地址，进行网络连通性测试。
在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“内网地址”，即可获取对应信息。
- 测试结果显示可达，则DLI队列与MySQL实例的网络已经联通。
图7 测试结果
- 如果测试结果不可达，请参考创建跨源成功但测试网络连通性失败怎么办？进行排查。
排查完成后，重新进行网络连通性测试。
- 测试结果显示可达，则DLI队列与MySQL实例的网络已经联通。
- 单击“资源管理 > 队列管理”，选择步骤3：创建弹性资源池并添加队列添加的队列，单击“操作”列中的“更多 > 测试地址连通性”。
步骤5：创建跨源认证
跨源分析场景中，如果在作业中直接配置认证信息会触发密码泄露的风险，因此推荐您使用DLI提供的跨源认证方式来存储数据源的认证信息。
RDS数据源在Spark SQL作业场景可以创建Password类型的跨源认证。
- 登录DLI管理控制台。
- 选择“跨源管理 > 跨源认证”。
- 单击“创建”。
填写认证信息，详细参数说明请参考表6。
表6 跨源认证参数说明 参数
参数说明
类型
选择Password。
认证信息名称
所创建的跨源认证信息名称。
- 名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。
- 输入长度不能超过128个字符。
用户名称
访问RDS实例用户名。
用户密码
RDS实例登录密码。
图8 创建认证信息-Password
步骤6：提交SQL作业
本节示例以SQL作业为例说明如何跨源访问RDS表。
- 在DLI管理控制台的左侧导航栏中，单击“SQL编辑器”，进入SQL作业编辑器页面。
- 在“SQL编辑器”页面右侧的编辑窗口中，输入如下SQL语句创建数据库db1，单击“执行”。
create database db1;
- 在编辑窗口中，选择队列“dli_queue_01”和数据库“db1”。输入如下SQL语句创建表，向RDS表插入数据，以及查询数据，单击“执行”。
根据界面显示的执行结果查询RDS表数据信息，整个操作完成。
CREATE TABLE IF NOT EXISTS rds_test USING JDBC OPTIONS ( 'url' = 'jdbc:mysql://{{ip}}:{{port}}', //RDS内网地址及端口 'driver' = 'com.mysql.jdbc.Driver', 'dbtable' = 'dli_demo.tabletest', //在RDS创建的库名及表名 'encryption' = 'true', 'passwdauth'="xxxxx" // DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。 ) insert into rds_test VALUES ('123','abc'); SELECT * from rds_test;
