配置DLI队列与内网数据源的网络联通
背景信息
DLI执行作业时如需访问外部数据源数据,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。DLI增强型跨源连接,底层采用对等连接的方式打通与目的数据源的vpc网络,通过点对点的方式实现数据互通。
创建增强型跨源连接网络不通的问题,可以根据本指导的整体流程和步骤进行排查验证。
整体流程
前提条件
- 已创建DLI队列。创建队列详见创建DLI队列操作指导。
队列的计费类型必须为:“包年/包月”,“按需计费”(按需计费需勾选“专属资源模式”。)
仅“包年/包月”资源、“专属资源模式”的“按需计费”资源才能创建增强型跨源连接。
- 已创建对应的外部数据源集群。具体对接的外部数据源根据业务自行选择。
表1 创建各外部数据源参考 服务名
参考文档
RDS
DWS
DMS Kafka
注意:创建DMS Kafka实例时,不能开启Kafka SASL_SSL。
CSS
MRS
- 绑定跨源的DLI队列网段和其他数据源子网网段不能重合。
- 系统default队列不支持创建跨源连接。
步骤1:获取外部数据源的内网IP、端口和安全组
数据源 |
参数获取 |
---|---|
DMS Kafka |
|
RDS |
在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”,获取“内网地址”、“虚拟私有云”、“子网”、“数据库端口”和“安全组”信息。 |
CSS |
|
DWS |
|
MRS HBase |
以MRS 3.x版本集群为例。
|
步骤3:外部数据源的安全组添加放通DLI队列网段的规则
- 登录VPC控制台。
- 在左侧导航树选择“访问控制 > 安全组”。
- 单击外部数据源所属的安全组名称,进入安全组详情界面。
您可以在对应数据源的管理控制台,参考步骤1:获取外部数据源的内网IP、端口和安全组获取对应数据源的安全组名称。
- 在“入方向规则”页签中添加放通队列网段的规则。如图2所示。
详细的入方向规则参数说明请参考表3。
表3 入方向规则参数说明 参数
说明
取值样例
优先级
安全组规则优先级。
优先级可选范围为1-100,默认值为1,即最高优先级。优先级数字越小,规则优先级级别越高。
1
策略
安全组规则策略。
允许
协议端口
- 网络协议。目前支持“All”、“TCP”、“UDP”、“ICMP”和“GRE”等协议。
- 端口:允许远端地址访问指定端口,取值范围为:1~65535。
本例中选择TCP协议,端口值不填或者填写为步骤1:获取外部数据源的内网IP、端口和安全组获取的数据源的端口。
类型
IP地址类型。
IPv4
源地址
源地址用于放通来自IP地址或另一安全组内的实例的访问。
本例填写步骤2:获取DLI队列网段获取的队列网段。
描述
安全组规则的描述信息,非必填项。
_
步骤4:创建增强型跨源连接
- 登录DLI管理控制台,在左侧导航栏单击“跨源管理”,在跨源管理界面,单击“增强型跨源”,单击“创建”。
- 在增强型跨源创建界面,配置具体的跨源连接参数。具体参考如下。
- 连接名称:设置具体的增强型跨源名称。
- 弹性资源池:选择DLI的队列。(未添加至资源池的队列,请直接选择队列名称。)
- 虚拟私有云:选择步骤1:获取外部数据源的内网IP、端口和安全组获取的外部数据源的虚拟私有云。
- 子网:选择步骤1:获取外部数据源的内网IP、端口和安全组获取的外部数据源的子网。
- 其他参数可以根据需要选择配置。
- 参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为:“已激活”后可以进行后续步骤。
- 如果是连接MRS HBase,则还需要添加MRS的主机节点信息,具体步骤如下:
- 在“跨源管理 > 增强型跨源”中,在已创建的增强型跨源连接的“操作”列,单击“更多 > 修改主机信息”。
- 在“主机信息”参数中,将步骤1:获取外部数据源的内网IP、端口和安全组中获取到的MRS HBase主机节点信息复制追加进去。
图3 修改主机信息
- 单击“确定”完成主机信息添加。
步骤5:测试网络连通性
- 单击“队列管理”,选择操作的队列,在操作列,单击“更多 > 测试地址连通性”。
- 在“测试连通性”界面,根据步骤1:获取外部数据源的内网IP、端口和安全组中获取的数据源的IP和端口,地址栏输入“数据源内网IP:数据源端口”,单击“测试”测试DLI到外部数据源网络是否可达。
MRS HBase在测试网络连通性的时候,使用:ZooKeeperIP地址:ZooKeeper端口,或者,ZooKeeper的主机信息:ZooKeeper端口。