配置DLI队列与内网数据源的网络联通
背景信息
DLI执行作业时如需访问外部数据源数据，如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。DLI增强型跨源连接，底层采用对等连接的方式打通与目的数据源的vpc网络，通过点对点的方式实现数据互通。
创建增强型跨源连接网络不通的问题，可以根据本指导的整体流程和步骤进行排查验证。
整体流程
前提条件
- 已创建DLI队列。创建队列详见创建DLI队列操作指导。
队列的计费类型必须为“按需计费”且勾选“专属资源模式”。
仅“专属资源模式”的“按需计费”资源才能创建增强型跨源链接。
- 已创建对应的外部数据源集群。具体对接的外部数据源根据业务自行选择。
表1 创建各外部数据源参考 服务名
参考文档链接
RDS
DWS
DMS Kafka
注意：创建DMS Kafka实例时，不能开启Kafka SASL_SSL。
CSS
MRS
- 绑定跨源的DLI队列网段和其他数据源子网网段不能重合。
- 系统default队列不支持创建跨源连接。
步骤1：获取外部数据源的内网IP、端口和安全组
|
数据源 |
参数获取 |
|---|---|
|
DMS Kafka |
|
|
RDS |
在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”，获取“内网地址”、“虚拟私有云”、“子网”、“数据库端口”和“安全组”信息。 |
|
CSS |
|
|
DWS |
|
|
MRS HBase |
以MRS 3.x版本集群为例。
|
步骤3：外部数据源的安全组添加放通DLI队列网段的规则
- 登录VPC控制台。
- 在左侧导航树选择“访问控制 > 安全组”。
- 单击外部数据源所属的安全组名称，进入安全组详情界面。
您可以在对应数据源的管理控制台，参考步骤1：获取外部数据源的内网IP、端口和安全组获取对应数据源的安全组名称。
- 在“入方向规则”页签中添加放通队列网段的规则。如图2所示。
详细的入方向规则参数说明请参考表3。
表3 入方向规则参数说明 参数
说明
取值样例
优先级
安全组规则优先级。
优先级可选范围为1-100，默认值为1，即最高优先级。优先级数字越小，规则优先级级别越高。
1
策略
安全组规则策略。
允许
协议端口
- 网络协议。目前支持“All”、“TCP”、“UDP”、“ICMP”和“GRE”等协议。
- 端口：允许远端地址访问指定端口，取值范围为：1～65535。
本例中选择TCP协议，端口值不填或者填写为步骤1：获取外部数据源的内网IP、端口和安全组获取的数据源的端口。
类型
IP地址类型。
IPv4
源地址
源地址用于放通来自IP地址或另一安全组内的实例的访问。
本例填写步骤2：获取DLI队列网段获取的队列网段。
描述
安全组规则的描述信息，非必填项。
_
步骤4：创建增强型跨源连接
- 登录DLI管理控制台，在左侧导航栏单击“跨源管理”，在跨源管理界面，单击“增强型跨源”，单击“创建”。
- 在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。
- 连接名称：设置具体的增强型跨源名称。
- 弹性资源池：选择DLI的队列。（未添加至资源池的队列，请直接选择队列名称。）
- 虚拟私有云：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的虚拟私有云。
- 子网：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的子网。
- 其他参数可以根据需要选择配置。
- 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨源连接的连接状态，等待连接状态为：“已激活”后可以进行后续步骤。
- 如果是连接MRS HBase，则还需要添加MRS的主机节点信息，具体步骤如下：
- 在“跨源管理 > 增强型跨源”中，在已创建的增强型跨源连接的“操作”列，单击“更多 > 修改主机信息”。
- 在“主机信息”参数中，将步骤1：获取外部数据源的内网IP、端口和安全组中获取到的MRS HBase主机节点信息拷贝追加进去。
图3 修改主机信息
- 单击“确定”完成主机信息添加。
步骤5：测试网络连通性
- 单击“队列管理”，选择操作的队列，在操作列，单击“更多 > 测试地址连通性”。
- 在“测试连通性”界面，根据步骤1：获取外部数据源的内网IP、端口和安全组中获取的数据源的IP和端口，地址栏输入“数据源内网IP:数据源端口”，单击“测试”测试DLI到外部数据源网络是否可达。
MRS HBase在测试网络连通性的时候，使用：ZooKeeperIP地址:ZooKeeper端口，或者，ZooKeeper的主机信息:ZooKeeper端口。
