增强型跨源连接概述

什么是增强型跨源连接？

DLI跨源分析场景连接外部数据源时，由于数据源的VPC与DLI VPC不同，网络无法连通，导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。

本节操作为您介绍跨VPC的数据源网络连通方案：

• 创建增强型跨源连接：采用对等连接的方式打通DLI与数据源的VPC网络。
• 测试网络连通性：验证队列与数据源网络连通性。

目前DLI支持跨源访问的数据源请参考DLI常用跨源分析开发方式。

在跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。

约束和限制

• DLI提供的default队列不支持创建跨源连接。
• Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。
• 增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。
• 增强型跨源连接需要使用VPC、子网、路由、对等连接功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。

  可在服务授权中进行设置。

• 使用DLI增强型跨源时，弹性资源池/队列的网段与数据源网段不能重合。
• 访问跨源表需要使用已经创建跨源连接的队列。
• 跨源表不支持Preview预览功能。
• 检测跨源连接的连通性时对IP约束限制如下：
  • IP必须为合法的IP地址，用“.”分隔的4个十进制数，范围是0-255。
  • 测试时IP地址后可选择添加端口，用":"隔开，端口最大限制5位，端口范围：0~65535。

    例如192.168.xx.xx或者192.168.xx.xx:8181。

• 检测跨源连接的连通性时对域名约束限制如下：
  • 域名的限制长度为1到255的字符串，并且组成必须是字母、数字、下划线或者短横线。
  • 域名的顶级域名至少包含两个及以上的字母，例如.com，.net，.cn等。
  • 测试时域名后可选择添加端口，用":"隔开，端口最大限制为5位，端口范围：0~65535。

    例如example.com:8080。

DLI跨源分析流程

使用DLI进行跨源分析，需要先建立跨源连接，打通DLI和数据源的网络，再开发不同的作业访问数据源。

图1 跨源分析流程

相关链接