mrs
- 开发指南（适用于2.x及之前）
- 简介
- MapReduce服务样例工程构建方式
- HBase应用开发
- Hive应用开发
- MapReduce应用开发
- HDFS应用开发
- Spark应用开发
- 概述
- 环境准备
- 开发程序
- 调测程序
- 调优程序
- Spark接口
- FAQ
- 如何添加自定义代码的依赖包
- 如何处理自动加载的依赖包
- 运行SparkStreamingKafka样例工程时报“类不存在”问题
- 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
- Spark应用名在使用yarn-cluster模式提交时不生效
- 如何采用Java命令提交Spark应用
- SparkSQL UDF功能的权限控制机制
- 由于kafka配置的限制，导致Spark Streaming应用运行失败
- 如何使用IDEA远程调试
- 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息
- Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败
- Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常
- Spark任务读取HBase报错“had a not serializable result”
- 开发规范
- Storm应用开发
- Kafka应用开发
- Presto应用开发
- OpenTSDB应用开发
- Flink应用开发
- Impala应用开发
- Alluxio应用开发
- 附录
场景说明
链接复制成功！
更新时间：2020/12/15 GMT+08:00
假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态。
数据规划
- 使用自定义算子每秒钟产生大约10000条数据。
- 产生的数据为一个四元组（Long，String，String，Integer）。
- 数据经统计后，统计结果打印到终端输出。
- 打印输出的结果为Long类型的数据。
开发思路
- source算子每隔1秒钟发送10000条数据，并注入到Window算子中。
- window算子每隔1秒钟统计一次最近4秒钟内数据数量。
- 每隔1秒钟将统计结果打印到终端。具体查看方式请参考查看调测结果。
- 每隔6秒钟触发一次checkpoint，然后将checkpoint的结果保存到HDFS中。
父主题： 异步Checkpoint机制程序
