更新时间:2024-05-16 GMT+08:00
Kafka Sink配置发送失败重试机制
问题描述
用户执行Flink Opensource SQL, 采用Flink 1.10版本。Flink Sink写Kafka报错后作业失败:
Caused by: org.apache.kafka.common.errors.NetworkException: The server disconnected before a response was received.
问题原因
由于CPU使用率过高,导致网络闪断。
解决方案
在SQL语句中配置发送失败重试:connector.properties.retries=5
create table kafka_sink( car_type string , car_name string , primary key (union_id) not enforced ) with ( "connector.type" = "upsert-kafka", "connector.version" = "0.11", "connector.properties.bootstrap.servers" = "xxxx:9092", "connector.topic" = "kafka_car_topic ", "connector.sink.ignore-retraction" = "true", "connector.properties.retries" = "5", "format.type" = "json" );
父主题: 运维指导
运维指导 所有常见问题
- Flink作业提交错误,如何定位
- Flink作业运行异常,如何定位
- Flink作业重启后,如何判断是否可以从checkpoint恢复
- 作业语义检验时提示DIS通道不存在怎么处理?
- 如何处理作业的OBS Bucket没有授权?
- DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中
- Kafka Sink配置发送失败重试机制
- 访问FlinkUI/SparkUI页面无法正常显示怎么办?
- Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办?
- Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办?
more