更新时间:2024-06-14 GMT+08:00
分享

Storm应用开发常用概念

Topology

拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。

Spout

在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。

Bolt

在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。

Tuple

一次消息传递的基本单元。

Stream

流是一组(无穷)元素的集合,流上的每个元素都属于同一个schema;每个元素都和逻辑时间有关;即流包含了元组和时间的双重属性。流上的任何一个元素,都可以用Element<tuple,Time>的方式来表示,tuple是元组,包含了数据结构和数据内容,Time就是该数据的逻辑时间。

keytab文件

存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。

相关文档