更新时间:2024-11-06 GMT+08:00
Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据
问题现象
客户创建Flink SQL作业,消费Kafka后sink到es集群,作业执行成功,但无数据。
原因分析
查看客户作业脚本内容,排查无问题,作业执行成功,出现该问题可能的原因如下:
- 数据不准确。
- 数据处理有问题。
处理步骤
- 在Flink UI查看task日志,发现报错中提到json体,基本确定原因为数据格式问题。
- 排查客户实际数据,发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。
- 有两种方式解决此问题:
- 通过udf成jar包的形式
- 修改配置
- 修改源数据格式,再次执行作业,无问题。
父主题: Flink SQL作业类