文档首页/ 数据湖探索 DLI/ 开发指南/ Flink作业开发指南/ 流生态作业开发指引
更新时间：2024-12-26 GMT+08:00
查看PDF
分享

流生态作业开发指引

流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。

数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态：
  • 云服务生态

    DLI服务在Stream SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据，如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。

  • 开源生态

    通过对等连接建立与其他VPC的网络连接后，用户可以在DLI的租户独享集群中访问所有Flink和Spark支持的数据源与输出源，如Kafka、Hbase、ElasticSearch等。

  • 自拓展生态

    用户可通过编写代码实现从想要的云生态或者开源生态获取数据，作为Flink作业的输入数据。

DLI Flink Connector支持列表请参考Connector概述。

相关文档