文档首页 > > 用户指南> 跨源连接> 跨源数据融合分析概述

跨源数据融合分析概述

分享
更新时间: 2020/05/14 GMT+08:00

跨源连接操作场景

DLI支持原生Spark的DataSource能力,并在其基础上进行了扩展,能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据。

DLI增强型跨源连接底层采用对等连接,直接打通DLI集群与目的数据源的vpc网络,通过点对点的方式实现数据互通,能够提供比经典型跨源更加灵活的使用场景与更加强劲的性能。增强型跨源支持所有DLI服务已实现的跨源业务,并且通过UDF、Spark作业等方式能够实现与自建/线下数据源之间的访问。增强型跨源仅支持包年包月队列和按需专属队列。

目前DLI支持跨源连接的数据源包括:CloudTable HBase,CloudTable OpenTSDB,DWS,RDS MySQL,RDS PostGre,CSS,MRS HBase,MRS OpenTSDB,DCS Redis,DDS Mongo。

使用限制

  • 系统default队列不支持创建跨源连接
  • 访问跨源表需要使用已经创建跨源连接的队列
  • 跨源表不支持Preview预览功能

跨源分析流程

DLI跨源分析的基本流程如下:

图1 跨源分析流程

操作步骤如下:

  1. 创建跨源连接。包括以下两种创建方式:
    • 通过管理控制台创建跨源连接
    • 通过API接口创建创建跨源连接

    具体操作请参考表1中对应“创建方式”的链接。

  2. 开发DLI作业访问数据源。包括以下两种访问方式:
    • 开发SQL作业访问数据源。
    • 开发Spark作业访问数据源。

    具体操作请参考表1中对应“开发访问方式”的链接。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问