更新时间:2024-08-05 GMT+08:00

Flink对接云搜索服务(CSS)样例程序开发思路

场景说明

本样例实现了Flink消费一个自定义数据源,并将消费的数据写入Elasticsearch或云搜索服务CSS的功能。

主要提供了Elasticsearch Sink的构建及参数设置方法,实现通过Flink将数据写入Elasticsearch的功能。

Flink支持1.12.0及以后版本,Elasticsearch支持7.x及以后版本但不支持HTTPS的Elasticsearch集群。

数据规划

  • 如果使用自定义数据源,需保证源端集群和目标端之间网络端口通信正常。
  • 如果使用Kafka,MySQL等外源数据,需要确保对应用户具备数据操作的权限。

开发思路

  1. 导入Flink相关依赖包,版本需与集群Flink版本一致。
  2. 构建源端数据源。
  3. 构建目标端Elasticsearch数据源(可以在构建数据源的时候,通过setRestClientFactory方法,配置自定义实现的UserRestClientFactory)。
  4. 构建Flink执行环境。