文档首页 > > 产品介绍>

什么是DLI

什么是DLI

分享
更新时间:2021/06/21 GMT+08:00

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTableRDSDWSCSSOBSECS自建数据库以及线下数据库的异构数据进行探索。

功能介绍

DLI用户可以通过可视化界面、Restful API、JDBC、ODBC、Beeline等多种接入方式对云上CloudTable、RDS和DWS等异构数据源进行查询分析,数据格式兼容CSV、JSON、Parquet、Carbon和ORC五种主流数据格式。

  • 三大基本功能
    • SQL作业支持SQL查询功能:可为用户提供标准的SQL语句。具体内容请参考《数据湖探索SQL语法参考》
    • Flink作业支持Flink SQL在线分析功能:支持Window、Join等聚合函数、地理函数、CEP函数等,用SQL表达业务逻辑,简便快捷实现业务。具体内容请参考《数据湖探索SQL语法参考》
    • Spark作业提供全托管式Spark计算特性:用户可通过交互式会话(session)和批处理(batch)方式提交计算任务,在全托管Spark队列上进行数据分析。具体内容请参考《数据湖探索API参考》
  • 多数据源分析:
    • Spark跨源连接:可通过DLI访问CloudTable,DWS,RDS和CSS等数据源。具体内容请参考《数据湖探索用户指南》
    • Flink跨源支持与多种云服务连通,形成丰富的流生态圈。数据湖探索的流生态分为云服务生态和开源生态:
      • 云服务生态:数据湖探索在Flink SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据,如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。
      • 开源生态:通过增强型跨源连接建立与其他VPC的网络连接后,用户可以在数据湖探索的租户独享队列中访问所有Flink和Spark支持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。

      具体内容请参见《数据湖探索开发指南》

  • BI工具
  • 支持地理空间查询。具体内容请参考《数据湖探索开发指南》

如何访问DLI

华为云提供了Web化的服务管理平台,既可以通过管理控制台和基于HTTPS请求的API(Application programming interface)管理方式来访问DLI,又可以通过JDBC或ODBC等客户端连接DLI服务端。

  • 管理控制台方式

    提交SQL作业、Spark作业或Flink作业,均可以使用管理控制台方式访问DLI服务。用户注册华为云后,可直接登录管理控制台,从主页选择“EI企业智能”>“EI大数据”>“数据湖探索”即可。

  • API方式

    如果用户需要将华为云平台上的DLI服务集成到第三方系统,用于二次开发,可以使用API方式访问DLI服务,具体操作请参见《数据湖探索API参考》

  • JDBC或ODBC

    DLI支持使用JDBC或ODBC连接服务端进行数据查询操作。具体内容请参考《数据湖探索开发指南》

  • Beeline

    DLI支持通过Beeline提交作业。具体内容请参考《数据湖探索开发指南》

  • Spark-submit

    DLI支持通过Spark-submit提交作业。具体内容请参考《数据湖探索开发指南》

  • 数据湖治理中心DGC

    数据湖治理中心DGC是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。

    在DGC管理中心控制台创建数据连接即可访问DLI,进行数据分析。关于DGC的操作指导请参考《数据湖治理中心快速入门》。

分享:

    相关文档

    相关产品