文档首页/
MapReduce服务 MRS/
开发指南(普通版_3.x)/
Flink开发指南(普通模式)/
开发Flink应用/
Flink对接云搜索服务(CSS)样例程序/
Flink对接云搜索服务(CSS)样例程序开发思路
更新时间:2024-06-27 GMT+08:00
Flink对接云搜索服务(CSS)样例程序开发思路
场景说明
本样例实现了Flink消费一个自定义数据源,并将消费的数据写入Elasticsearch或云搜索服务CSS的功能。
主要提供了Elasticsearch Sink的构建及参数设置方法,实现通过Flink将数据写入Elasticsearch的功能。
Flink支持1.12.0及以后版本,Elasticsearch支持7.x及以后版本但不支持HTTPS的Elasticsearch集群。
数据规划
- 如果使用自定义数据源,需保证源端集群和目标端之间网络端口通信正常。
- 如果使用Kafka,MySQL等外源数据,需要确保对应用户具备数据操作的权限。
开发思路
- 导入Flink相关依赖包,版本需与集群Flink版本一致。
- 构建源端数据源。
- 构建目标端Elasticsearch数据源(可以在构建数据源的时候,通过setRestClientFactory方法,配置自定义实现的UserRestClientFactory)。
- 构建Flink执行环境。