文档首页/ 数据湖探索 DLI/ 常见问题/ Flink作业类/ Flink SQL作业类/ Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据
更新时间:2024-11-06 GMT+08:00
分享

Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据

问题现象

客户创建Flink SQL作业,消费Kafka后sink到es集群,作业执行成功,但无数据。

原因分析

查看客户作业脚本内容,排查无问题,作业执行成功,出现该问题可能的原因如下:

  • 数据不准确。
  • 数据处理有问题。

处理步骤

  1. 在Flink UI查看task日志,发现报错中提到json体,基本确定原因为数据格式问题。
  2. 排查客户实际数据,发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。
  3. 有两种方式解决此问题:

    • 通过udf成jar包的形式
    • 修改配置

  4. 修改源数据格式,再次执行作业,无问题。

相关文档