更新时间:2025-06-26 GMT+08:00

数据采集概述

安全云脑的日志采集功能支持将安全日志接入安全云脑,同时,也支持将安全云脑日志转出至第三方系统/产品。

表1 日志接入或转出场景说明

场景

操作指导

云服务日志接入安全云脑

具体操作请参见接入日志数据。可以一键接入多个云服务产品日志。

第三方(非华为云)日志接入安全云脑

通过数据采集方式接入第三方日志数据。本章节介绍数据采集功能。

安全云脑日志转出至第三方系统/产品

与第三方(非华为云)日志接入安全云脑步骤相同。

主要区别在于:

  1. 将非当前云上日志接入安全云脑场景时,需要执行创建日志存储管道步骤。将当前云上日志转出至第三方系统或产品场景,请跳过此步骤。

  2. 配置连接器的时候,数据连接来源和目的参数配置有差异。
    1. 非当前云上日志接入安全云脑场景时,数据连接目的参数配置的时候连接类型参数选择“云脑管道(Pipe)”
    2. 安全云脑日志转出至第三方系统/产品场景时,数据连接来源参数配置的时候连接类型参数选择“云脑管道(Pipe)”
本章节介绍接入第三方日志数据。通过数据采集方式接入第三方日志数据,使用Logstash通过多种方式采集各类日志数据,采集后,可以快速实现历史数据分析比对、数据关联分析、以及未知威胁发现等相关分析。
图1 数据采集

数据采集原理

数据采集的基本原理是安全云脑提供组件控制器(isap-agent),安装在租户云服务器上,通过组件控制器来管理采集组件Logstash,通过Logstash完成租户自身、租户与安全云脑数据的收发工作。

图2 采集系统功能架构

基本概念

  • 采集器:定制化的Logstash。采集器节点则是定制化的Logstash+组件控制器(isap-agent)。
  • 节点:安装了组件控制器(isap-agent),并被安全云脑纳管的云服务器叫做节点。节点纳管成功后,即可在组件管理中下发采集引擎Logstash。
  • 组件:为了很好地完成业务而定制的软件,目前提供汇聚式收集引擎Logstash用于租户日志收发安全云脑业务。
  • 连接器:Logstash配置的基础概念,主要包括input、output两部分,分别对应源连接器、目的连接器,用于定义采集器Logstash接受数据方式和规范。其中,安全云脑管道pipe连接器可以对接安全云脑,实现租户数据上报安全云脑,安全云脑数据转储到租户的能力。
  • 解析器:Logstash配置的基础概念,主要为Logstash的filter部分,安全云脑解析器是对其filter部分的无码化封装和定制,用户只需在页面上配置解析器规则即可生成原生的filter配置脚本,从而轻松实现将原始日志转化为目标格式。
  • 采集通道:采集通道等价于Logstash的pipeline,在Logstash可以配置多个pipeline,每个pipeline包括input、filter、output部分,每个pipeline为单独的作业,互不影响。在安全云脑租户采集上,可将相同的pipeline部署在多个节点上,并且配置相同的pipeline视为一个采集通道。

约束与限制

  • 目前,数据采集的组件控制器支持运行在Linux系统X86和ARM架构的ECS主机上。

前提条件

  • 已购买ECS,或有可用ECS,用于安装日志采集器。
  • 已购买数据磁盘,且已挂载数据磁盘。保障日志采集器有足够的运行空间。
  • 已获取非管理员IAM账户,用于租户侧日志采集器登录访问安全云脑。
  • 网络连通配置已准备好,实现租户VPC与安全云脑的网络连通。

采集器规格

采集管理中,选作为节点的云服务器规格说明如下表所示:

表2 采集器规格

CPU内核数

内存大小

系统盘

数据盘

参考处理能力

4U

8GB

50GB

100GB

2000 EPS @ 1KB

4000 EPS @ 500B

8U

16GB

50GB

100GB

5000 EPS @ 1KB

10000 EPS @ 500B

16U

32GB

50GB

100GB

10000 EPS @ 1KB

20000 EPS @ 500B

32U

64GB

50GB

100GB

20000 EPS @ 1KB

40000 EPS @ 500B

64U

128GB

50GB

100GB

40000 EPS @ 1KB

80000 EPS @ 500B

说明:
  • 云服务器规格最少为2U4G,目录磁盘至少挂载100G磁盘。
  • 日志量应当与机器规格成比例放大,总体来说,建议按表中规格比例进行放大。如果机器压力较大,建议部署多台采集器,通过采集通道来统一管理,分摊单机日志中转压力。
  • 安装组件控制器前,建议先挂载磁盘,然后使用分盘脚本对磁盘进行分配,确保目录磁盘下有超过100GB的剩余空间,保证采集器Logstash的正常安装和运行。

日志源的数量

采集器支持的日志源数量不受限制,可随云资源配置变化而动态扩展。