数据采集概述
安全云脑的日志采集功能支持将安全日志接入安全云脑，同时，也支持将安全云脑日志转出至第三方系统/产品。
|
场景 |
操作指导 |
|---|---|
|
华为云服务日志接入安全云脑 |
具体操作请参见接入日志数据。可以一键接入多个云服务产品日志。 |
|
第三方（非华为云）日志接入安全云脑 |
通过数据采集方式接入第三方日志数据。本章节介绍数据采集功能。 |
|
安全云脑日志转出至第三方系统/产品 |
与第三方（非华为云）日志接入安全云脑步骤相同。 主要区别在于：
|
数据采集原理
数据采集的基本原理是安全云脑提供组件控制器（isap-agent），安装在租户云服务器上，通过组件控制器来管理采集组件Logstash，通过Logstash完成租户自身、租户与安全云脑数据的收发工作。
基本概念
- 采集器：定制化的Logstash。采集器节点则是定制化的Logstash+组件控制器（isap-agent）。
- 节点：安装了组件控制器（isap-agent），并成功通过IAM鉴权后，并被安全云脑纳管的云服务器叫做节点。节点纳管成功后，即可在组件管理中下发采集引擎Logstash。
- 组件：为了很好地完成业务而定制的软件，目前提供汇聚式收集引擎Logstash用于租户日志收发安全云脑业务。
- 连接器：Logstash配置的基础概念，主要包括input、output两部分，分别对应源连接器、目的连接器，用于定义采集器Logstash接受数据方式和规范。其中，安全云脑管道pipe连接器可以对接安全云脑，实现租户数据上报安全云脑，安全云脑数据转储到租户的能力。
- 解析器：Logstash配置的基础概念，主要为Logstash的filter部分，安全云脑解析器是对其filter部分的无码化封装和定制，用户只需在页面上配置解析器规则即可生成原生的filter配置脚本，从而轻松实现将原始日志转化为目标格式。
- 采集通道：采集通道等价于Logstash的pipeline，在Logstash可以配置多个pipeline，每个pipeline包括input、filter、output部分，每个pipeline为单独的作业，互不影响。在安全云脑租户采集上，可将相同的pipeline部署在多个节点上，并且配置相同的pipeline视为一个采集通道。
约束与限制
- 目前，数据采集的组件控制器支持运行在Linux系统X86和ARM架构的ECS主机上。
- 安装组件控制器时，在控制台中查看信息时，仅支持使用IAM账号登录，且需要进行权限设置，具体操作请参见新增节点前准备。
前提条件
- 已购买ECS，或有可用ECS，用于安装日志采集器。
- 已购买数据磁盘，且已挂载数据磁盘。保障日志采集器有足够的运行空间。
- 已获取非管理员IAM账户，用于租户侧日志采集器登录访问安全云脑。
- 网络连通配置已准备好，实现租户VPC与安全云脑的网络连通。
采集器规格
采集管理中，选作为节点的云服务器规格说明如下表所示：
|
CPU内核数 |
内存大小 |
系统盘 |
数据盘 |
参考处理能力 |
|---|---|---|---|---|
|
4U |
8GB |
50GB |
100GB |
2000 EPS @ 1KB 4000 EPS @ 500B |
|
8U |
16GB |
50GB |
100GB |
5000 EPS @ 1KB 10000 EPS @ 500B |
|
16U |
32GB |
50GB |
100GB |
10000 EPS @ 1KB 20000 EPS @ 500B |
|
32U |
64GB |
50GB |
100GB |
20000 EPS @ 1KB 40000 EPS @ 500B |
|
64U |
128GB |
50GB |
100GB |
40000 EPS @ 1KB 80000 EPS @ 500B |
|
说明：
|
||||
日志源的数量
采集器支持的日志源数量不受限制，可随云资源配置变化而动态扩展。
数据采集流程
|
序号 |
步骤 |
说明 |
|---|---|---|
|
0 |
前提条件（准备工作） |
|
|
1 |
选择或购买云服务器，在云服务器上安装组件控制器（isap-agent），完成节点纳管。 |
|
|
2 |
节点纳管完成之后可以通过管理下发安装引擎Logstash，完成组件安装。 |
|
|
3 |
（可选）创建日志存储管道 |
在安全云脑中创建日志存储位置（管道），用于日志存储、分析。 将非华为云日志转入安全云脑场景时，需要执行此步骤，详细操作请参见创建管道。将华为云日志转出至第三方系统或产品场景，请跳过此步骤。 |
|
4 |
配置源和目的连接器，根据需要选择连接器并完成参数配置。
|
|
|
5 |
（可选）配置解析器 |
根据需要在页面上进行无码化解析器配置。 |
|
6 |
配置连接通道，并与节点进行关联，下发Logstash的pipeline配置，完成整个数据采集的配置。 |
|
|
7 |
采集结果验证 |
配置完成采集通道之后，验证数据是否采集。 如果是日志接入到安全云脑管道，可以在安全云脑“安全分析”页面查询结果。 |
数据采集移除流程
|
序号 |
步骤 |
说明 |
|---|---|---|
|
1 |
删除采集通道 |
请在采集通道管理页面中，停止并删除Logstash的pipeline配置。 注：相关节点上的所有采集通道都需要进行停止并删除，才可以完整移除组件、注销节点。 |
|
2 |
（可选）删除解析器 |
如果配置了解析器，请在解析器管理页面中，删除配置的无码化解析器。 |
|
3 |
（可选）删除数据连接 |
如果新增了数据连接，请在连接管理页面中，删除源和目的连接器。 |
|
4 |
移除组件 |
删除节点上安装的采集引擎Logstash，移除组件。 |
|
5 |
注销节点 |
移除组件控制器，完成节点注销。 注：注销节点不会删除ECS和endpointinterface资源，后续如果不再使用数据采集功能，需要手动释放，详细操作请参见如何释放ECS和VPC终端节点资源？、删除终端节点。 |
