Flink应用开发简介

简介

Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。

Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。

Flink技术栈如图1所示。

图1 Flink技术栈

Flink在当前版本中重点构建如下特性，其他特性继承开源社区，不做增强。

• DataStream
• Checkpoint
• 窗口
• Job Pipeline
• 配置表

架构

Flink架构如图2所示。

图2 Flink架构

Flink整个系统包含三个部分：

• Client

  Flink Client主要给用户提供向Flink系统提交用户任务（流式作业）的能力。

• TaskManager

  Flink系统的业务执行节点，执行具体的用户任务。TaskManager可以有多个，各个TaskManager都平等。

• JobManager

  Flink系统的管理节点，管理所有的TaskManager，并决策用户任务在哪些Taskmanager执行。JobManager在HA模式下可以有多个，但只有一个主JobManager。

Flink系统提供的关键能力：

• 低时延

  提供ms级时延的处理能力。

• Exactly Once

  提供异步快照机制，保证所有数据真正只处理一次。

• HA

  JobManager支持主备模式，保证无单点故障。

• 水平扩展能力

  TaskManager支持手动水平扩展。

Flink开发接口简介

Flink DataStream API提供Scala和Java两种语言的开发方式，如表1所示。

基本概念

• DataStream

  数据流，是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入，可以通过Socket、Kafka和文件等形式导入，在Flink系统处理后，在通过Socket、Kafka和文件等输出到外部系统，这是Flink的核心概念。

• Data Transformation

  数据处理单元，会将一或多个DataStream转换成一个新的DataStream。

  具体可以细分如下几类：

  • 一对一的转换：如Map。
  • 一对0、1或多个的转换：如FlatMap。
  • 一对0或1的转换，如Filter。
  • 多对1转换，如Union。
  • 多个聚合的转换，如window、keyby。
• CheckPoint

  CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时，应用的所有状态能够从某一个检查点恢复，保证数据仅被处理一次（Exactly Once）。

• SavePoint

  Savepoint是指允许用户在持久化存储中保存某个checkpoint，以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行，保证数据处理的延续性。

样例工程介绍

MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。