安全云脑 SecMaster
安全云脑 SecMaster
- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- API参考
- 常见问题
- 更多文档
- 通用参考
本文导读
链接复制成功！
方案概述
安全云脑的日志采集功能支持将安全日志接入安全云脑，同时，也支持将安全云脑日志转出至第三方系统/产品。
|
场景 |
操作指导 |
|---|---|
|
华为云日志接入安全云脑 |
具体操作请参见接入云服务日志。 |
|
安全云脑日志转出至第三方系统/产品 |
参考本实践的操作步骤处理即可。 |
|
第三方（非华为云）日志接入安全云脑 |
参考本实践的操作步骤处理即可。 |
日志采集原理
日志采集器节点作为中间节点，负责在安全云脑和租户服务器之间收集、上传、下发日志。
图1 安全云脑日志采集原理
基本概念
本部分介绍日志采集中涉及的基本概念的描述及其作用。
- 日志采集组件（Logstash）：用于日志采集、日志传输。
- 组件控制器（isap-agent）：用于管理日志采集组件（Logstash）等。
- 日志采集器节点：用于采集日志到云脑，以及安全云脑日志转出。
一台ECS，安装了安全云脑组件控制器，组件控制器中安装了日志采集组件。单个租户只需要配置安装一台日志采集器节点。
图2 日志采集器节点架构图
- 采集器：定制化的Logstash。采集器节点则是定制化的Logstash+组件控制器（isap-agent）。
- 连接器：Logstash配置的基础概念，主要包括input、output两部分，分别对应源连接器、目的连接器，用于定义采集器Logstash接受数据方式和规范。其中，安全云脑管道pipe连接器可以对接安全云脑，实现租户数据上报安全云脑，安全云脑数据转储到租户的能力。
- 解析器：Logstash配置的基础概念，主要为Logstash的filter部分，安全云脑解析器是对其filter部分的无码化封装和定制，用户只需在页面上配置解析器规则即可生成原生的filter配置脚本，从而轻松实现将原始日志转化为目标格式。
- 采集通道：采集通道等价于Logstash的pipeline，在Logstash可以配置多个pipeline，每个pipeline包括input、filter、output部分，每个pipeline为单独的作业，互不影响。在安全云脑租户采集上，可将相同的pipeline部署在多个节点上，并且配置相同的pipeline视为一个采集通道。
日志接入或转出支持的传输协议类型以及日志格式
|
场景 |
支持的传输协议类型 |
支持的日志格式 |
|---|---|---|
|
日志接入安全云脑 |
传输控制协议 TCP |
json、syslog、plain |
|
用户数据协议 UDP |
json、syslog、plain |
|
|
对象存储 OBS |
json、plain |
|
|
消息队列 Kafka |
json、plain |
|
|
云脑管道 Pipe |
json、plain |
|
|
ElasticSearch CSS |
json、plain |
|
|
日志从安全云脑转出 |
传输控制协议 TCP |
json |
|
用户数据协议 UDP |
json |
|
|
消息队列 Kafka |
json |
|
|
对象存储 OBS |
json |
|
|
云脑管道 Pipe |
json |
父主题： 日志接入或转出操作指导
