文档首页 > > 用户指南> 跨源连接> 跨源连接和跨源分析概述

跨源连接和跨源分析概述

分享
更新时间:2020/11/24 GMT+08:00

DLI支持原生Spark的DataSource能力,并在其基础上进行了扩展,能够通过SQL语句、Spark作业或者Flink作业访问其他数据存储服务并导入、查询、分析处理其中的数据。

跨源连接

在使用DLI进行跨源分析前,需要先建立跨源连接,打通数据源之间的网络。

DLI增强型跨源连接底层采用对等连接,直接打通DLI队列与目的数据源的VPC网络,通过点对点的方式实现数据互通,能够提供比经典型跨源更加灵活的使用场景与更加强劲的性能。

  • 系统default队列不支持创建跨源连接。
  • 跨源连接需要使用VPC、子网、路由、对等连接功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。可在服务授权中进行设置。

跨源分析

增强型跨源支持DLI服务已实现的所有跨源业务,并且通过可以UDF、Spark作业和Flink作业等方式实现与自建数据源之间的访问。增强型跨源仅支持包年包月队列和按需专属队列。

目前DLI支持跨源访问的数据源包括:CloudTable HBase,CloudTable OpenTSDB,CSS,DCS Redis,DDS Mongo,DIS,DMS,DWS,MRS HBase,MRS Kafka,MRS OpenTSDB,OBS,RDS MySQL,RDS PostGre,SMN。具体请参考DLI支持访问的数据源

  • 访问跨源表需要使用已经创建跨源连接的队列。
  • 跨源表不支持Preview预览功能。

跨源分析流程

使用DLI进行跨源分析,需要先建立跨源连接,再开发不同的作业访问数据源。操作步骤如下:

  1. 创建跨源连接。包括以下两种创建方式:
    • 通过管理控制台创建跨源连接。
    • 通过API接口创建创建跨源连接。

    具体操作请参考表2中对应“创建方式”的链接。

  2. 开发DLI作业访问数据源。包括以下三种访问方式:
    • 开发SQL作业访问数据源。
    • 开发Spark作业访问数据源。
    • 开发Flink作业访问数据源

    具体操作请参考表3中对应“开发访问方式”的链接。

以下分别为开发SQL作业、Spark作业和Flink作业进行跨源连接的基本流程。

  • SQL作业
    图1 SQL跨源分析流程
  • Spark作业
    图2 Spark跨源分析流程
  • Flink作业
    图3 Flink跨源分析流程

DLI支持访问的数据源

表1 DLI支持的华为云服务数据源

服务名称

跨源连接

跨源分析

经典型跨源连接

增强型跨源连接

Spark SQL作业

Spark jar作业

Flink SQL作业

Flink jar作业

CloudTable HBase

CloudTable OpenTSDB

CSS

DCS Redis

x

DDS Mongo

x

DIS

-

-

x

x

DMS Kafka

x

x

x

DWS

MRS HBase

x

MRS Kafka

x

x

x

MRS OpenTSDB

x

OBS

-

-

x

x

RDS MySQL

RDS PostGre

SMN

-

-

x

x

其中,Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。

跨源连接创建方式参考

表2 跨源连接创建方式

创建方式

经典型跨源连接

增强型跨源连接

管理控制台操作

经典型跨源连接

增强型跨源连接

API接口

《经典型跨源连接相关API》

《增强型跨源连接相关API》

跨源分析开发方式参考

表3 跨源分析开发方式

服务名称

开发访问方式

开发Spark SQL作业

开发Spark jar作业

开发Flink SQL作业

开发Flink jar作业

CloudTable HBase

-

CloudTable OpenTSDB

-

CSS

Elasticsearch输出流

-

DCS Redis

DCS输出流

自定义作业交互

DDS Mongo

DDS输出流

-

DIS

-

-

DIS输入流

-

DMS

-

-

-

DWS

自定义作业交互

MRS HBase

MRS HBase输出流

自定义作业交互

MRS Kafka

-

-

MRS Kafka输出流

自定义作业交互

MRS OpenTSDB

-

-

OBS

-

-

-

RDS MySQL

RDS输出流

-

RDS PostGre

RDS输出流

-

SMN

-

-

SMN输出流

-

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问