更新时间:2022-11-09 GMT+08:00
Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据
问题现象
客户创建Flink SQL作业,消费Kafka后sink到es集群,作业执行成功,但无数据。
原因分析
查看客户作业脚本内容,排查无问题,作业执行成功,出现该问题可能的原因如下:
- 数据不准确。
- 数据处理有问题。
处理步骤
- 在Flink UI查看task日志,发现报错中提到json体,基本确定原因为数据格式问题。
- 排查客户实际数据,发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。
- 有两种方式解决此问题:
- 通过udf成jar包的形式
- 修改配置
- 修改源数据格式,再次执行作业,无问题。
父主题: Flink SQL作业相关问题
Flink SQL作业相关问题 所有常见问题
- Flink SQL作业的消费能力如何,即一天可以处理多大的数据量?
- Flink SQL中的temp流中数据是否需要定期清理,如何清理?
- 创建Flink SQL作业时选择OBS桶,提示未授权
- Flink SQL作业将OBS表映射为DLI的分区表
- Flink SQL作业Kafka分区数增加或减少,不用停止Flink作业,实现动态感知
- OBS表如何映射为DLI的分区表?
- 在Flink SQL作业中创建表使用EL表达式,作业运行报DLI.0005错误
- Flink作业输出流写入数据到OBS,通过该OBS文件路径创建的DLI表查询无数据
- Flink SQL作业运行失败,日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误
- Flink SQL作业读取DIS数据报Not authorized错误
- Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据
- Flink Opensource SQL如何解析复杂嵌套 JSON?
- Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致?
- Flink SQL和Flink Opensource SQL的语法有什么区别?
- Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
more