# 数据采集概述 安全云脑的日志采集功能支持将安全日志接入安全云脑，同时，也支持将安全云脑日志转出至第三方系统/产品。**本章节介绍通过数据采集方式接入第三方日志数据**。 此外，日志接入或转出不同场景的操作或差异说明请参见[表1]。 表1日志接入或转出场景说明 | 场景 | 操作指导 | |:---|:---| | 华为云服务日志接入安全云脑 | 具体操作请参见[接入日志数据](https://support.huaweicloud.com/usermanual-secmaster/secmaster_01_01335.html#secmaster_01_01335)。可以一键接入多个云服务产品日志。 | | 第三方（非华为云）日志接入安全云脑 | 通过数据采集方式接入第三方日志数据。本章节介绍数据采集功能。 | | 安全云脑日志转出至第三方系统/产品 | 与第三方（非华为云）日志接入安全云脑步骤相同。 主要区别在于： 1. **将非华为云日志接入安全云脑场景时，需要执行创建日志存储管道步骤。将华为云日志转出至第三方系统或产品场景，请跳过此步骤。** 2. 配置连接器的时候，数据连接来源和目的参数配置有差异。 1. 将**非华为云日志接入安全云脑** 场景时，**数据连接目的参数**配置的时候连接类型参数选择"云脑管道（Pipe）"。 2. **安** **全云脑日志转出至第三方系统/产品** 场景时，**数据连接来源** **参数**配置的时候连接类型参数选择"云脑管道（Pipe）"。 | **本章节介绍接入第三方日志数据** 。通过数据采集方式接入第三方日志数据，使用Logstash通过多种方式采集各类日志数据，采集后，可以快速实现历史数据分析比对、数据关联分析、以及未知威胁发现等相关分析。 图1数据采集 ![](https://support.huaweicloud.com/usermanual-secmaster/zh-cn_image_0000001937930656.png "点击放大") #### 数据采集原理 数据采集的基本原理是安全云脑提供组件控制器（isap-agent），安装在租户云服务器上，通过组件控制器来管理采集组件Logstash，通过Logstash完成租户自身、租户与安全云脑数据的收发工作。 图2采集系统功能架构 ![](https://support.huaweicloud.com/usermanual-secmaster/zh-cn_image_0000001938090000.png "点击放大") - 采集器：定制化的Logstash。采集器节点则是定制化的Logstash+组件控制器（isap-agent）。 - 节点：安装了组件控制器（isap-agent），并成功通过IAM鉴权后，并被安全云脑纳管的云服务器叫做节点。节点纳管成功后，即可在组件管理中下发采集引擎Logstash。 - 组件：为了很好地完成业务而定制的软件，目前提供汇聚式收集引擎Logstash用于租户日志收发安全云脑业务。 - 连接器：Logstash配置的基础概念，主要包括input、output两部分，分别对应源连接器、目的连接器，用于定义采集器Logstash接收数据方式和规范。其中，安全云脑管道pipe连接器可以对接安全云脑，实现租户数据上报安全云脑，安全云脑数据转储到租户的能力。 - 解析器：Logstash配置的基础概念，主要为Logstash的filter部分，安全云脑解析器是对其filter部分的无码化封装和定制，用户只需在页面上配置解析器规则即可生成原生的filter配置脚本，从而轻松实现将原始日志转化为目标格式。 - 采集通道：采集通道等价于Logstash的pipeline，在Logstash可以配置多个pipeline，每个pipeline包括input、filter、output部分，每个pipeline为单独的作业，互不影响。在安全云脑租户采集上，可将相同的pipeline部署在多个节点上，并且配置相同的pipeline视为一个采集通道。 #### 约束与限制 - 数据采集的采集器仅支持运行在Huawei Cloud EulerOS操作系统的X86和ARM环境。 - 安装组件控制器时，在控制台中查看信息时，仅支持使用IAM账号登录，且需要进行权限设置，具体操作请参见[新增节点前准备](https://support.huaweicloud.com/usermanual-secmaster/secmaster_01_0379.html#secmaster_01_0379__zh-cn_topic_0000001937927796_section199461434142416)。 - 安全云脑对接入的云服务日志或第三方日志仅做日志解析和存储，不对用户原始日志内容做修改、转码、翻译处理。在英文控制台环境中，外部接入原始日志内容（含中文）将完整原样展示，原始文本内容不受控制台界面语言切换影响。 #### 数据采集器支持的操作系统 表2采集器支持的操作系统 | 操作系统 | 购买ECS时可选择的版本 | |:---|:---| | EulerOS 2.9（x86/arm） | Public-CAD-EulerOS-BaseTemplate-2.9.x-x86_64/arm64-Standard | | Huawei Cloud EulerOS 2.0(x86/arm) | Huawei Cloud EulerOS 2.0 x86_64/arm64-Standard | #### 前提条件 - 有可用ECS，用于安装日志采集器。 - 已有可用数据磁盘，且已挂载数据磁盘。保障日志采集器有足够的运行空间。 - 已获取非管理员IAM账户，用于租户侧日志采集器登录访问安全云脑。 - 网络连通配置已准备好，实现租户VPC与安全云脑的网络连通。 #### 采集器规格 采集管理中，选作为节点的云服务器规格说明如下表所示： 表3采集器规格 | CPU内核数 | 内存大小 | 系统盘 | 数据盘 | 参考处理能力 | |:---|:---|:---|:---|:---| | 2U | 4GB | 50GB | 100GB | 1000 EPS @ 1KB 2000 EPS @ 500B | | 4U | 8GB | 50GB | 100GB | 2000 EPS @ 1KB 4000 EPS @ 500B | | 8U | 16GB | 50GB | 100GB | 5000 EPS @ 1KB 10000 EPS @ 500B | | 16U | 32GB | 50GB | 100GB | 10000 EPS @ 1KB 20000 EPS @ 500B | | 32U | 64GB | 50GB | 100GB | 20000 EPS @ 1KB 40000 EPS @ 500B | | 64U | 128GB | 50GB | 100GB | 40000 EPS @ 1KB 80000 EPS @ 500B | | 说明： - 云服务器规格最少为2U4G，目录磁盘至少挂载100G磁盘。 - 单个管道接入吞吐规格限制是4MB/s，即单个管道的日志处理能力是8000EPS @ 500B。 - 日志量应当与机器规格成比例放大，总体来说，建议按表中规格比例进行放大。如果机器压力较大，建议部署多台采集器，通过采集通道来统一管理，分摊单机日志中转压力。 - 安装组件控制器前，建议先挂载磁盘，然后使用分盘脚本对磁盘进行分配，确保目录磁盘下有超过100GB的剩余空间，保证采集器Logstash的正常安装和运行。 - 租户采集器Logstash采用固定版本docker镜像，私自升级docker或者rpm包将导致采集器无法工作。 ||||| #### 日志源的数量 采集器支持的日志源数量不受限制，可随云资源配置变化而动态扩展。 #### 数据采集流程 表4数据采集流程说明 | 序号 | 步骤 | 说明 | |:---|:---|:---| | 0 | 前提条件（准备工作） | - 已有可用ECS，用于安装日志采集器。 - 已有可用数据磁盘，且已挂载数据磁盘。保障日志采集器有足够的运行空间。 - 已获取非管理员IAM账户，用于租户侧日志采集器登录访问安全云脑。 - 网络连通配置已准备好，实现租户VPC与安全云脑的网络连通。 | | 1 | [纳管节点](https://support.huaweicloud.com/usermanual-secmaster/secmaster_01_0379.html#secmaster_01_0379) | 选择或购买云服务器，在云服务器上安装组件控制器（isap-agent），完成节点纳管。 | | 2 | [安装组件](https://support.huaweicloud.com/usermanual-secmaster/secmaster_01_0380.html#secmaster_01_0380) | 节点纳管完成之后可以通过管理下发安装引擎Logstash，完成组件安装。 | | 3 | （可选）创建日志存储管道 | 在安全云脑中创建日志存储位置（管道），用于日志存储、分析。 | | 4 | [配置连接器](https://support.huaweicloud.com/usermanual-secmaster/secmaster_01_0374.html#secmaster_01_0374__zh-cn_topic_0000001965286165_zh-cn_topic_0000001953599545_zh-cn_topic_0000001521486949_section19854247161113) | 配置源和目的连接器，根据需要选择连接器并完成参数配置。 1. 将**非华为云日志接入安全云脑** 场景时，**数据连接目的参数**配置的时候连接类型参数选择"云脑管道（Pipe）"。 2. **安** **全云脑日志转出至第三方系统/产品** 场景时，**数据连接来源** **参数**配置的时候连接类型参数选择"云脑管道（Pipe）"。 | | 5 | （可选）[配置解析器](https://support.huaweicloud.com/usermanual-secmaster/secmaster_01_0376.html#secmaster_01_0376__zh-cn_topic_0000001938087140_zh-cn_topic_0000001926520194_zh-cn_topic_0000001521726865_section1042817280141) | 根据需要在页面上进行无码化解析器配置。 | | 6 | [配置采集通道](https://support.huaweicloud.com/usermanual-secmaster/secmaster_01_0378.html#secmaster_01_0378__zh-cn_topic_0000001965126393_zh-cn_topic_0000001926360842_zh-cn_topic_0000001470927214_section13854361169) | 配置连接通道，并与节点进行关联，下发Logstash的pipeline配置，完成整个数据采集的配置。 | | 7 | 采集结果验证 | 配置完成采集通道之后，验证数据是否采集。 如果是日志接入到安全云脑管道，可以在安全云脑"安全分析"页面查询结果。 | #### 数据采集移除流程 图3数据采集移除流程 ![](https://support.huaweicloud.com/usermanual-secmaster/zh-cn_image_0000002134016321.png "点击放大") 表5数据采集移除流程说明 | 序号 | 步骤 | 说明 | |:---|:---|:---| | 1 | 删除采集通道 | 请在采集通道管理页面中，停止并删除Logstash的pipeline配置。 注：相关节点上的所有采集通道都需要进行停止并删除，才可以完整移除组件、注销节点。 | | 2 | （可选）删除解析器 | 如果配置了解析器，请在解析器管理页面中，删除配置的无码化解析器。 | | 3 | （可选）删除数据连接 | 如果新增了数据连接，请在连接管理页面中，删除源和目的连接器。 | | 4 | 移除组件 | 删除节点上安装的采集引擎Logstash，移除组件。 | | 5 | 注销节点 | 移除组件控制器，完成节点注销。 注：注销节点不会删除ECS和endpointinterface资源，后续如果不再使用数据采集功能，需要手动释放，详细操作请参见[如何释放ECS和VPC终端节点资源？](https://support.huaweicloud.com/secmaster_faq/secmaster_01_0364.html)[删除终端节点](https://support.huaweicloud.com/usermanual-vpcep/vpcep_03_0203.html)。 |