数据采集概述

数据采集原理

数据采集的基本原理是安全云脑提供组件控制器（isap-agent），安装在租户云服务器上，通过组件控制器来管理采集组件Logstash，通过Logstash完成租户自身、租户与安全云脑数据的收发工作。

图2 采集系统功能架构

含义

• 采集器：定制化的Logstash。采集器节点则是定制化的Logstash+组件控制器（isap-agent）。
• 节点：安装了组件控制器（isap-agent），并被安全云脑纳管的云服务器叫做节点。节点纳管成功后，即可在组件管理中下发采集引擎Logstash。
• 组件：为了很好地完成业务而定制的软件，目前提供汇聚式收集引擎Logstash用于租户日志收发安全云脑业务。
• 连接器：Logstash配置的基础概念，主要包括input、output两部分，分别对应源连接器、目的连接器，用于定义采集器Logstash接受数据方式和规范。其中，安全云脑管道pipe连接器可以对接安全云脑，实现租户数据上报安全云脑，安全云脑数据转储到租户的能力。
• 解析器：Logstash配置的基础概念，主要为Logstash的filter部分，安全云脑解析器是对其filter部分的无码化封装和定制，用户只需在页面上配置解析器规则即可生成原生的filter配置脚本，从而轻松实现将原始日志转化为目标格式。
• 采集通道：采集通道等价于Logstash的pipeline，在Logstash可以配置多个pipeline，每个pipeline包括input、filter、output部分，每个pipeline为单独的作业，互不影响。在安全云脑租户采集上，可将相同的pipeline部署在多个节点上，并且配置相同的pipeline视为一个采集通道。

约束与限制

• 目前，数据采集的组件控制器支持运行在Linux系统x86_64和arm64架构的ECS主机上。

采集器规格

采集管理中，选作为节点的云服务器规格说明如下表所示：

日志源的数量

采集器支持的日志源数量不受限制，可随云资源配置变化而动态扩展。

数据采集流程

图3 数据采集流程

数据采集移除流程

图4 数据采集移除流程