入门实践
我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容，帮助您更好的使用DLI进行大数据分析和处理。
场景 | 操作指导 | 描述 |
|---|---|---|
队列网络连通 | DLI在创建运行作业需要连接外部其他数据源，本节操作介绍队列与外部数据源之间的网络连通方法，如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。 | |
介绍DLI队列在公网访问场景下网络连通的方法。通过配置SNAT规则，添加到公网的路由信息，可以实现队列到和公网的网络打通。 | ||
Spark SQL作业开发 | 介绍使用Spark SQL作业创建OBS表、导入OBS表数据、插入和查询OBS表数据等操作。 | |
Flink OpenSource SQL作业开发 | 介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到RDS的开发示例。 | |
介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到DWS的开发示例。 | ||
介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到Elasticsearch的开发示例。 | ||
介绍使用Flink OpenSource SQL作业从MySQL CDC源表读取数据写入到DWS的开发示例。 | ||
介绍使用Flink OpenSource SQL作业从PostgreSQL CDC源表读取数据写入到DWS的开发示例。 | ||
Flink Jar作业开发 | 通过自定义作业与MRS进行交互为例进行介绍Flink Jar作业开发样例。 | |
介绍将kafka数据处理后写入到OBS的操作样例。 | ||
介绍使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka。 | ||
介绍Flink Jar作业读写DIS数据的操作方法。 | ||
Spark Jar作业开发 | 介绍从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业的开发样例。 | |
数据迁移 | 介绍如何通过CDM数据同步功能，迁移MRS Hive数据至DLI。 | |
介绍如何通过CDM数据同步功能，迁移MRS Kafka数据至DLI。 | ||
介绍如何通过CDM数据同步功能，迁移Elasticsearch类型的CSS集群数据至DLI。 | ||
介绍如何通过CDM数据同步功能，迁移关系型数据库RDS数据至DLI。 | ||
介绍如何通过CDM数据同步功能，迁移数据仓库服务DWS数据至DLI。 |
