创建增强型跨源连接
操作场景
使用DLI访问其他数据源的数据前,首先要通过建立增强型跨源连接打通DLI和数据源之间的网络,DLI才能够访问、导入、查询、分析其他数据源的数据。
例如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和对应数据源VPC之间的网络,才能实现数据互通。
本节操作介绍在控制台创建增强型跨源连接的操作步骤。
约束和限制
- 在同一队列中,如果同时使用了经典型跨源连接和增强型跨源连接,则经典型跨源连接优先于增强型跨源连接。推荐使用增强型跨源连接。
- DLI提供的default队列不支持创建跨源连接。
- Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。
- 增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。
- 增强型跨源连接需要使用VPC、子网、路由、对等连接功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。
可在服务授权中进行设置。
- 使用DLI增强型跨源时,弹性资源池/队列的网段与数据源网段不能重合。
- 访问跨源表需要使用已经创建跨源连接的队列。
- 跨源表不支持Preview预览功能。
- 检测跨源连接的连通性时对IP约束限制如下:
- 检测跨源连接的连通性时对域名约束限制如下:
操作流程
前提条件
- 已创建弹性资源池/队列用于绑定跨源连接。
- 已获取外部数据源的虚拟私有云、子网、内网IP、端口和安全组信息。
- 外部数据源的安全组已放通弹性资源池/队列的网段。
操作步骤
- 创建增强型跨源连接
- 登录DLI管理控制台。
- 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。
- 选择“增强型跨源”,单击“创建”。
配置增强型跨源连接信息,详细参数介绍请参见表1。
表1 参数说明 参数
参数说明
连接名称
所创建的跨源连接名称。
- 名称只能包含数字、英文字母、下划线。不能为空。
- 输入长度不能超过64个字符。
弹性资源池
可选参数,用于绑定使用跨源连接的弹性资源池或队列。
仅包周期和按需计费模式的专属队列支持绑定弹性资源池。
已上线弹性资源池的region,在队列管理中创建的包年包月或按需专属队列会默认创建同名的资源池。
说明:使用增强型跨源连接之前必须绑定队列且对等连接的状态是“active”。
绑定队列
可选参数,用于绑定需要使用跨源的队列。
仅包周期和按需计费模式的专属队列支持绑定弹性资源池。
说明:使用增强型跨源连接之前必须绑定队列且对等连接的状态是“active”。
虚拟私有云
数据源所使用的虚拟私有云。
子网
数据源所使用的子网。
路由表
显示子网实际绑定的路由表。
说明:- 此处的路由表为目的数据源子网关联的路由表,不同于“路由信息”中的路由。“路由信息”中的路由为所绑定的队列下子网关联的路由表中的路由。
- 目的数据源子网与队列所在子网为不同的子网,否则会造成网段冲突。
主机信息
可选参数,用于配置主机的IP与域名的映射关系,在作业配置时只需使用配置的域名即可访问对应的主机。
例如:访问MRS的HBase集群时需要配置Zookeeper实例的主机名(即域名)与对应的IP地址。每行填写一条记录,填写格式为:“IP 主机名/域名”。
示例:
192.168.0.22 node-masterxxx1.com
192.168.0.23 node-masterxxx2.com
获取主机信息的方法请参考怎样获取MRS主机信息?。
标签
使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。
如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。
具体请参考《标签管理服务用户指南》。
说明:- 最多支持20个标签。
- 一个“键”只能添加一个“值”。
- 每个资源中的键名不能重复。
- 标签键:在输入框中输入标签键名称。
说明:
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。
- 标签值:在输入框中输入标签值。
说明:
标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。
- 单击“确定”,创建增强型跨源连接。
创建完成后,增强型跨源连接的链接状态显示“已激活”,代表该链接创建成功。
- 数据源所在安全组放通弹性资源池的网段
- 测试DLI队列与数据源的连通性