文档首页/
MapReduce服务 MRS/
开发指南(普通版_3.x)/
Flink开发指南(安全模式)/
开发Flink应用/
Flink开启Checkpoint样例程序/
Flink开启Checkpoint样例程序开发思路
更新时间:2024-08-05 GMT+08:00
Flink开启Checkpoint样例程序开发思路
场景说明
假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态。
数据规划
- 使用自定义算子每秒钟产生大约10000条数据。
- 产生的数据为一个四元组(Long,String,String,Integer)。
- 数据经统计后,统计结果打印到终端输出。
- 打印输出的结果为Long类型的数据。
开发思路
- source算子每隔1秒钟发送10000条数据,并注入到Window算子中。
- window算子每隔1秒钟统计一次最近4秒钟内数据数量。
- 每隔1秒钟将统计结果打印到终端。具体查看方式请参考查看Flink应用调测结果。
- 每隔6秒钟触发一次checkpoint,然后将checkpoint的结果保存到HDFS中。