更新时间:2024-12-04 GMT+08:00
分享

入门实践

我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容,帮助您更好的使用DLI进行大数据分析和处理。

表1 DLI常用开发指南与最佳实践

场景

操作指导

描述

Spark SQL作业开发

使用Spark SQL作业分析OBS数据

介绍使用Spark SQL作业创建OBS表、导入OBS表数据、插入和查询OBS表数据等操作。

Flink OpenSource SQL作业开发

从Kafka读取数据写入到RDS

介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到RDS的开发示例。

从Kafka读取数据写入到DWS

介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到DWS的开发示例。

从Kafka读取数据写入到Elasticsearch

介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到Elasticsearch的开发示例。

从MySQL CDC源表读取数据写入到DWS

介绍使用Flink OpenSource SQL作业从MySQL CDC源表读取数据写入到DWS的开发示例。

从PostgreSQL CDC源表读取数据写入到DWS

介绍使用Flink OpenSource SQL作业从PostgreSQL CDC源表读取数据写入到DWS的开发示例。

Flink Jar作业开发

Flink Jar作业开发基础样例

通过自定义作业与MRS进行交互为例进行介绍Flink Jar作业开发样例。

使用Flink Jar写入数据到OBS开发指南

介绍将kafka数据处理后写入到OBS的操作样例。

使用Flink Jar连接开启SASL_SSL认证的Kafka

介绍使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka。

使用Flink Jar读写DIS开发指南

介绍Flink Jar作业读写DIS数据的操作方法。

Spark Jar作业开发

使用Spark Jar作业读取和查询OBS数据

介绍从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业的开发样例。

相关文档