典型场景示例:创建弹性资源池并运行作业
阶段 |
说明 |
参考文档 |
---|---|---|
步骤一:创建弹性资源池 |
创建弹性资源池,配置弹性资源池的基本信息,如:计费模式、CU范围、网段等配置。 |
|
步骤二:添加队列到弹性资源池 |
添加作业运行的队列到弹性资源池。具体内容包括:
|
|
(可选)步骤三:创建增强型跨源连接 |
如果运行的作业需要跨源访问其他外部数据源数据,如作业需要访问DWS、RDS等数据时,需要创建跨源连接。 创建的跨源连接需要和弹性资源池进行绑定。 |
|
步骤四:运行作业 |
根据业务需求创建和提交作业。 |
步骤一:创建弹性资源池
- 登录DLI管理控制台,在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。
- 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。
- 在“购买弹性资源池”界面,填写具体的弹性资源池参数,具体参数填写参考如下。
- 名称:填写具体的弹性资源池名称。例如设置为:pool_test。
- CU范围:弹性资源池扩缩容的CU范围。
- 网段:配置弹性资源池网段。例如当前配置为172.16.0.0/18。
- 其他参数根据需要选择和配置。
图2 创建弹性资源池
详细的弹性资源池创建流程可以参考创建弹性资源池并添加队列。
- 参数填写完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成弹性资源池创建。
- 弹性资源池创建任务提交后,会在弹性资源池管理界面的“状态”列显示当前资源池的创建状态,当状态显示为“可使用”时表示资源池可以正常使用。
(可选)步骤三:创建增强型跨源连接
本示例演示的操作需要跨源连接RDS外部数据源,所以需要创建跨源连接。如果作业不需要连接外部数据源,则该步骤可以跳过。
- 登录RDS控制台,创建RDS数据库实例。具体请参考创建RDS实例。登录RDS实例后,单击“新建数据库”,创建名称为“test2”的数据库。
- 在“test2”的数据库所在行,操作列,单击“SQL查询”,输入以下创建表语句,单击“执行SQL”创建表“tabletest2”。建表语句参考如下:
CREATE TABLE `tabletest2` ( `id` int(11) unsigned, `name` VARCHAR(32) ) ENGINE = InnoDB DEFAULT CHARACTER SET = utf8mb4;
- 在RDS管理控制台,单击“实例管理”,单击已创建的RDS具体实例名称,查看该RDS实例的“基本信息”。
- 在“基本信息”的“连接信息”中获取该实例的“内网地址”、“数据库端口”、“虚拟私有云”和“子网”信息,方便后续操作步骤使用。
- 单击“连接信息”中的安全组名称,在“入方向规则”中添加放通弹性资源池网段的规则。例如本示例为3弹性资源池网段为“172.16.0.0/18”,数据库端口为3306,则规则添加为:优先级选择:1,策略选择:允许,协议级别和端口选择:TCP和3306,类型:IPv4,源地址为:172.16.0.0/18
单击“确定”完成安全组规则添加。
- 登录DLI管理控制台,在左侧导航栏单击“跨源管理”,在跨源管理界面,单击“增强型跨源”,单击“创建”。
- 在增强型跨源创建界面,配置具体的跨源连接参数。具体参考如下。
- 连接名称:设置具体的增强型跨源名称。
- 弹性安全策略资源池:选择步骤一:创建弹性资源池中已经创建的好的弹性资源池。
如果该步骤不选择弹性资源池,可以创建跨源完后,在增强型跨源界面,在对应跨源连接所在行的“操作”列,单击“更多 > 绑定弹性资源池”进行绑定。
- 虚拟私有云:选择4中获取的RDS的虚拟私有云。
- 子网:选择4中获取的RDS的子网。
- 其他参数可以根据需要选择配置。
参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为:“已激活”后可以进行后续步骤。
- 单击“资源管理 > 队列管理”,选择操作的队列,如本示例的“general_test”,在操作列,单击“更多 > 测试地址连通性”。
- 在“测试连通性”界面,根据4中获取的RDS连接信息,地址栏输入“RDS内网地址:RDS数据库端口”,单击“测试”测试到RDS网络是否可达。
步骤四:运行作业
本示例通过在弹性资源池队列上运行一个Flink SQL举例演示。
- 在DLI管理控制台,单击“作业管理 > Flink作业”,在Flink作业管理界面,单击“创建作业”。
- 在创建作业界面,类型选择“Flink SQL”,名称填写为:testFlinkSqlJob。单击“确定”,跳转到Flink作业编辑界面。
- 在Flink SQL作业编辑界面,配置如下参数。
图5 创建Flink SQL作业
- 所属队列:选择步骤二:添加队列到弹性资源池中弹性资源池添加的队列“general_test”。
- 保存作业日志:勾选。
- OBS桶:选择保存作业日志的OBS桶,根据提示进行OBS桶权限授权。
- 开启Checkpoint:勾选。
- Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。具体加粗的参数需要根据实际情况修改。
CREATE SINK STREAM car_info (id INT, name STRING) WITH ( type = "rds", region = "", /* 根据情况修改为当前的region ID*/ 'pwd_auth_name'="xxxxx", // DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。 db_url = "mysql://192.168.x.x:3306/test2", /* 格式为mysql://RDS数据库实例的内网地址:RDS数据库端口/RDS创建的数据库名 */ table_name = "tabletest2" /* RDS数据下的表名 */ ); INSERT INTO car_info SELECT 13, 'abc';
- 单击“语义校验”确保SQL语义校验成功。单击“保存”,保存作业。单击“启动”,启动作业,确认作业参数信息,单击“立即启动”开始执行作业。
- 等待作业运行完成,作业状态显示为“已完成”。
- 登录RDS控制台,单击RDS数据库实例,单击创建的数据库名,如“test2”,在创建的表“tabletest2”所在行的“操作”列,单击“SQL查询”。
- 在“SQL查询”界面,单击“执行SQL”,查看RDS表数据已写入成功。
图6 RDS表查询结果