场景说明

场景说明

本样例实现了Flink消费一个自定义数据源，并将消费的数据写入Elasticsearch或云搜索服务CSS的功能。

主要提供了Elasticsearch Sink的构建及参数设置方法，实现通过Flink将数据写入Elasticsearch的功能。

Flink支持1.12.0及以后版本，Elasticsearch支持7.x及以后版本但不支持HTTPS的Elasticsearch集群。

数据规划

• 如果使用自定义数据源，需保证源端集群和目标端之间网络端口通信正常。
• 如果使用Kafka，MySQL等外源数据，需要确保对应用户具备数据操作的权限。

开发思路

1. 导入Flink相关依赖包，版本需与集群Flink版本一致。
2. 构建源端数据源。
3. 构建目标端Elasticsearch数据源（可以在构建数据源的时候，通过setRestClientFactory方法，配置自定义实现的UserRestClientFactory）。
4. 构建Flink执行环境。