物联网时序数据分析场景介绍
在物联网场景中,海量设备采集的数据需要进行低延迟的高效接入、存储和分析,数据具有高度的时间属性相关特点,传统数据库基于二维表的数据模型,无法满足物联网场景下高效的时序数据存储和分析需求。时序数据库则是专门针对物联网时序数据场景设计的存算引擎,数据按设备管理架构和时间属性进行组织存储和访问,具备低延迟、高并发、高性价比的特点,并提供丰富的时间序列语义,可以更好的满足物联网场景下时序数据分析的需求。
物联网时序数据分析架构如图1所示。
- 数据源:物联网时序数据,包括离线的CSV文件数据、实时采集器采集的数据、或支持MQTT协议的物联网终端设备。
- 大数据平台:物联网时序数据分析的核心平台,包括实时数据管道、实时数据处理引擎、时序数据库等模块。
- 实时消息管道:用于接收前端采集器推送的实时时序数据,作为实时时序数据接入的统一管道,对应MRS Kafka组件。
- 实时流处理引擎:从Kafka实时读取时序数据,并进行一些逻辑运算,将实时时序数据写入时序数据库中。
- 数据湖:其他IT系统上的数据,时序数据库可以通过跨源分析能力与数据湖中的全量数据进行关联,与IT数据进行进一步的复杂分析。
- HetuEngine:跨源分析引擎,可以连接多个大数据组件进行数据查询,并可以将多个大数据组件中的数据在HetuEngine中进行统一分析。
- IoTDB时序数据库:时序数据分析的核心组件,提供海量时序数据的存储和计算能力。
- 离线加载:IoTDB提供的数据导入工具,可以将本地csv文件批量导入到IoTDB中。
- 数据访问:提供JDBC/Restful的访问接口供应用程序访问,也可以直接提供IoTDB的生态插件与Grafana对接。
- 业务应用:查询并使用时序数据库中的数据的业务应用。