安全云脑 SecMaster
安全云脑 SecMaster
- 最新动态
- 功能总览
- 技术画册
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- API参考
- SDK参考
- 常见问题
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
数据采集概述
安全云脑的数据采集功能,提供了将第三方(非华为云)日志数据接入安全云脑的能力。它使用Logstash通过多种方式采集各类日志数据,采集后,可以快速实现历史数据分析比对、数据关联分析、以及未知威胁发现等相关分析。
图1 数据采集

数据采集原理
数据采集的基本原理是安全云脑提供组件控制器(isap-agent),安装在租户云服务器上,通过组件控制器来管理采集组件Logstash,通过Logstash完成租户自身、租户与安全云脑数据的收发工作。
图2 采集系统功能架构

含义
- 采集器:定制化的Logstash。采集器节点则是定制化的Logstash+组件控制器(isap-agent)。
- 节点:安装了组件控制器(isap-agent),并成功通过IAM鉴权后,并被安全云脑纳管的云服务器叫做节点。节点纳管成功后,即可在组件管理中下发采集引擎Logstash。
- 组件:为了很好地完成业务而定制的软件,目前提供汇聚式收集引擎Logstash用于租户日志收发安全云脑业务。
- 连接器:Logstash配置的基础概念,主要包括input、output两部分,分别对应源连接器、目的连接器,用于定义采集器Logstash接受数据方式和规范。其中,安全云脑管道pipe连接器可以对接安全云脑,实现租户数据上报安全云脑,安全云脑数据转储到租户的能力。
- 解析器:Logstash配置的基础概念,主要为Logstash的filter部分,安全云脑解析器是对其filter部分的无码化封装和定制,用户只需在页面上配置解析器规则即可生成原生的filter配置脚本,从而轻松实现将原始日志转化为目标格式。
- 采集通道:采集通道等价于Logstash的pipeline,在Logstash可以配置多个pipeline,每个pipeline包括input、filter、output部分,每个pipeline为单独的作业,互不影响。在安全云脑租户采集上,可将相同的pipeline部署在多个节点上,并且配置相同的pipeline视为一个采集通道。
约束与限制
- 目前,数据采集的组件控制器支持运行在Linux系统X86架构的ECS主机上。
- 安装组件控制器时,在控制台中查看信息时,仅支持使用IAM账号登录,且需要进行权限设置,具体操作请参见新增节点前准备。
采集器规格
采集管理中,选作为节点的云服务器规格说明如下表所示:
CPU内核数 |
内存大小 |
系统盘 |
数据盘 |
参考处理能力 |
---|---|---|---|---|
4U |
8GB |
50GB |
100GB |
2000 EPS @ 1KB 4000 EPS @ 500B |
8U |
16GB |
50GB |
100GB |
5000 EPS @ 1KB 10000 EPS @ 500B |
16U |
32GB |
50GB |
100GB |
10000 EPS @ 1KB 20000 EPS @ 500B |
32U |
64GB |
50GB |
100GB |
20000 EPS @ 1KB 40000 EPS @ 500B |
64U |
128GB |
50GB |
100GB |
40000 EPS @ 1KB 80000 EPS @ 500B |
|
日志源的数量
采集器支持的日志源数量不受限制,可随云资源配置变化而动态扩展。
数据采集流程
图3 数据采集流程

数据采集移除流程
图4 数据采集移除流程

序号 |
步骤 |
说明 |
---|---|---|
1 |
删除采集通道 |
请在采集通道管理页面中,停止并删除Logstash的pipeline配置。 注:相关节点上的所有采集通道都需要进行停止并删除,才可以完整移除组件、注销节点。 |
2 |
(可选)删除解析器 |
如果配置了解析器,请在解析器管理页面中,删除配置的无码化解析器。 |
3 |
(可选)删除数据连接 |
如果新增了数据连接,请在连接管理页面中,删除源和目的连接器。 |
4 |
移除组件 |
删除节点上安装的采集引擎Logstash,移除组件。 |
5 |
注销节点 |
移除组件控制器,完成节点注销。 注:注销节点不会删除ECS和endpointinterface资源,后续如果不再使用数据采集功能,需要手动释放,详细操作请参见如何释放ECS和VPC终端节点资源?、删除终端节点。 |
父主题: 数据采集