文档首页/ 安全云脑 SecMaster/ 用户指南/ 设置/ 数据采集/ 连接器规则说明
更新时间：2025-06-24 GMT+08:00
查看PDF
分享

连接器规则说明

源连接器

安全云脑租户采集连接器，目前支持的源连接器类型如下表所示：

表1 源连接器类型

连接器名称

对应的logstash插件

描述

传输控制协议 TCP

tcp

用于接收TCP协议日志，配置规则请参见表2。

用户数据协议 UDP

udp

用于接收UDP协议日志，配置规则请参见表3。

对象存储 OBS

obs

用于读取对象存储OBS桶的日志数据，配置规则请参见表4。

消息队列 KAFKA

kafka

用于读取Kafka网络日志数据，配置规则请参见表5。

云脑管道 PIPE

pipe

用于将安全云脑数据外发到租户侧，配置规则请参见表6。

Elasticsearch CSS

elasticsearch

用于读取ES集群的数据，配置规则请参见表7。
表2 tcp连接器配置规则

规则

对应logstash配置项

类型

默认值

是否必填

描述

名称

title

string

--

是

自定义来源连接器名称。命名规则如下：

  • 名称长度取值范围为5-128个字符。
  • 名称须为工作空间内唯一，不能与工作空间内的其他连接器名称相同。

描述

description

string

--

是

自定义连接器描述。命名规则如下：

  • 名称长度不超过256个字符。

端口

port

number

1025

是

配置采集节点端口号。

可使用端口号范围1025-65535。

不同连接器的端口号不能重复。

解码类型

codec

string

plain

是

选择编码格式。

  • plain：读取原始内容。
  • json：处理json格式内容。

是否SSL

ssl_enable

boolean

false

否

是否开启ssl认证。

ssl证书

ssl_cert

file

null

否

cert证书。

ssl-key文件

ssl_key

file

--

否

ssl-key文件。

ssl密钥

ssl_key_passphrase

string

--

否

ssl证书密钥。
表3 udp连接器配置规则

规则

对应logstash配置项

类型

默认值

是否必填

描述

名称

title

string

--

是

自定义来源连接器名称。命名规则如下：

  • 名称长度取值范围为5-128个字符。
  • 名称须为工作空间内唯一，不能与工作空间内的其他连接器名称相同。

描述

description

string

--

是

自定义连接器描述。命名规则如下：

  • 名称长度不超过256个字符。

端口

port

number

1025

是

采集节点端口号。

可使用端口号范围1025-65535。不同连接器的端口号不能重复。

解码类型

codec

string

plain

是

解码类型

  • plain：读取原始内容。
  • json：处理json格式内容。

报文标签

type

string

udp

否

报文标签，用于后续处理的标记。一个数据采集通道对应多个数据连接场景，推荐给每个数据连接打上不同的报文标签用于区分不同数据连接的报文。

队列大小

queue_size

number

1000000

否

队列大小。

接收缓冲区字节数

receive_buffer_bytes

number

1000000

否

接收缓冲区字节数，保持默认值即可。

缓冲区大小

buffer_size

number

1000000

否

缓冲区大小，保持默认值即可。

工作线程

workers

number

1

否

工作线程数。保持默认值即可。
表4 obs连接器配置规则

规则

对应logstash配置项

类型

默认值

是否必填

描述

名称

title

string

--

是

自定义来源连接器名称。命名规则如下：

  • 名称长度取值范围为5-128个字符。
  • 名称须为工作空间内唯一，不能与工作空间内的其他连接器名称相同。

描述

description

string

--

是

自定义连接器描述。命名规则如下：

  • 名称长度不超过256个字符。

region

region

string

cn-north-4

是

填写数据来源所在工作空间的region。

桶

bucket

string

demo-obs-sec-mrd-datas

是

桶名，填写数据源所在的桶名。

endpoint

endpoint

string

https://obs.huawei.com

是

endpoint地址，注意要添加https。通过桶详情可获取endpoint地址。

AK

ak

string

--

否

AK

SK

sk

string

--

否

SK

前缀

prefix

string

/test

否

日志读的文件夹前缀，填写数据源在桶内的存储路径对应的文件夹前缀。

缓存文件夹

temporary_directory

string

/temp

否

日志读取时，缓存的文件夹。安全云脑日志数据转出时需要在缓存文件夹先缓存数据，达到一定门限后转出。用户需要在ECS创建目录/opt/cloud/logstash/myobs，并把该目录作为缓存文件夹路径。

报文标签

type

string

--

否

报文标签，用于后续处理的标记。一个数据采集通道对应多个数据连接场景，推荐给每个数据连接打上不同的报文标签用于区分不同数据连接的报文。

记忆路径

sincedb_path

string

/opt/cloud/logstash/pipeline/file_name

否

用于设置读取的位置信息，防止重启导致的全文遍历。建议保值默认提示配置。
表5 kafka连接器配置规则

规则

对应logstash配置项

类型

默认值

是否必填

描述

名称

title

string

--

是

自定义来源连接器名称。命名规则如下：

  • 名称长度取值范围为5-128个字符。
  • 名称须为工作空间内唯一，不能与工作空间内的其他连接器名称相同。

描述

description

string

--

是

自定义连接器描述。命名规则如下：

  • 名称长度不超过256个字符。

服务地址

bootstrap_servers

string

--

是

kafka服务地址。

主题

topics

array

logstash

是

主题，可同时消费多个主题。

消费线程

consumer_threads

number

1

是

消费线程

偏移复位

auto_offset_reset

string

latest

否

偏移复位:

  • earliest：读取最早的消息
  • latest：读取最新的消息

SSL证书

ssl_truststore_location

file

--

否

SSL证书

当选择SSL相关协议时需要填写该参数

SSL密钥

ssl_truststore_password

string

--

否

SSL密钥

当选择SSL相关协议时需要填写该参数

安全协议

security_protocol

string

SASL_SSL

否

安全协议。

  • PLAINTEXT：明文传输场景。
  • SSL：SSL传输场景。
  • SASL_PLAINTEXT：SASL明文传输场景。
  • SASL_SSL：SASL密文传输场景。

sasl连接配置

sasl_jaas_config

string

--

否

sasl连接配置

是否加密

is_pw_encrypted

string

false

否

是否加密

sasl机制

sasl_mechanism

string

PLAIN

否

sasl_mechanism，

分组Id

group_id

string

--

否

消费group_id

其中，“sasl连接配置”需要根据kafka规格进行填写。示例如下：

  • 明文连接配置 
    1
    		 
    org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码';
  • 密文连接配置 
    1
    		 
    org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码';
表6 pipe连接器配置规则

规则

对应logstash配置项

类型

默认值

是否必填

描述

名称

title

string

--

是

自定义来源连接器名称。命名规则如下：

  • 名称长度取值范围为5-128个字符。
  • 名称须为工作空间内唯一，不能与工作空间内的其他连接器名称相同。

描述

description

string

--

是

自定义连接器描述。命名规则如下：

  • 名称长度不超过256个字符。

类型

type

string

租户

是

类型可选配置有“租户”、“平台”、“ECS委托”，推荐配置为“ECS委托”：

  • 租户：通过IAM认证的场景此处选择“租户”，且需要同步填写“域账户”、“用户名”、“密码”。
  • 平台：通过AK/SK认证的场景此处选择“平台”，且需要同步填写“AK”、“SK”。
  • ECS委托：当租户期望通过ECS委托方式获取Token凭证场景，可选择该配置，租户账号或密码发生变更时不影响数据采集功能。在使用ECS委托前需要在IAM上对ECS云服务授权。

流表

pipe_id

string

--

是

下拉选择流表，即日志数据转出安全云脑的源数据流表。

AK

ak

string

--

是

仅通过AK/SK认证的场景，“类型”设置为“平台”后，需要填写AK。获取AK/SK请参见如何获取访问密钥AK/SK。

SK

sk

string

--

是

仅通过AK/SK认证的场景，“类型”设置为“平台”后，需要填写SK。获取AK/SK请参见如何获取访问密钥AK/SK。

域账户

domain_name

string

domain_name

是

iam账户domaionName。

仅通过IAM认证的场景，“类型”设置为“租户”后，需要填写“域账户”。

用户名

user_name

string

user_name

是

iam账户user_name。

仅通过IAM认证的场景，“类型”设置为“租户”后，需要填写“用户名”。

密码

user_password

string

--

是

iam账户user_password。

仅通过IAM认证的场景，“类型”设置为“租户”后，需要填写“密码”。

订阅类型

subscription_type

string

Shared

否

订阅类型，保持默认值即可。

  • Shared：共享模式。
  • Exclusive：独占模式。
  • Failover：灾备模式。

订阅初始位置

subscription_initial_position

string

Latest

否

订阅初始位置，保持默认值即可。

  • Latest：从流表对应的topic的最新位置开始消费。
  • Earliest：从流表对应的topic的起始位置开始消费。
表7 elasticsearch连接器配置规则

规则

对应logstash配置项

类型

默认值

是否必填

描述

名称

title

string

--

是

自定义来源连接器名称。命名规则如下：

  • 名称长度取值范围为5-128个字符。
  • 名称须为工作空间内唯一，不能与工作空间内的其他连接器名称相同。

描述

description

string

--

是

自定义连接器描述。命名规则如下：

  • 名称长度不超过256个字符。

主机地址

hosts

array

--

是

主机地址，数据源所在主机地址。

索引

index

string

--

是

索引名称

检索语句

query

string

--

是

检索语句，读取数据的检索查询语句。

用户名

user

string

--

是

用户名，登录ES的用户名。

密码

user_password

string

--

是

密码，登录ES的密码。

查询数量

size

number

20

是

查询数量

卷

scroll

string

5m

是

卷

文档信息

docinfo

boolean

是

是

文档信息

是否配置加密

is_pw_encrypted

boolean

是

是

是否配置加密

是否SSL

ssl

boolean

是

否

是否SSL

证书文件

ca_file

file

--

否

证书文件

是否SSL证书校验

ssl_certificate_verification

boolean

是

否

是否SSL校验

目的连接器

安全云脑租户采集连接器，目前支持的目的连接器类型如下表所示：

表8 目的连接器类型

连接器名称

对应的logstash插件

描述

传输控制协议 TCP

tcp

用于发送TCP协议日志，配置规则请参见表9。

用户数据协议 UDP

udp

用于发送UDP协议日志，配置规则请参见表10。

消息队列 KAFKA

kafka

用于将日志写入Kafka消息队列，配置规则请参见表11。

对象存储 OBS

obs

用于写日志到对象存储OBS桶中，配置规则请参见表12。

云脑管道 PIPE

pipe

用于将日志写入安全云脑管道中，配置规则请参见表13。
表9 tcp连接器配置规则

规则

对应logstash配置项

类型

默认值

是否必填

描述

名称

title

string

--

是

自定义来源连接器名称。命名规则如下：

  • 名称长度取值范围为5-128个字符。
  • 名称须为工作空间内唯一，不能与工作空间内的其他连接器名称相同。

描述

description

string

--

是

自定义连接器描述。命名规则如下：

  • 名称长度不超过256个字符。

端口

port

number

1025

是

端口

解码类型

codec

string

plain

是

解码类型，json_lines或者plain

  • plain：读取原始内容
  • json_lines：处理json格式内容

主机地址

host

string

192.168.0.66

是

host地址

注：与节点网络互通

是否SSL

ssl_enable

boolean

false

否

是否开启ssl

ssl证书

ssl_cert

file

--

否

ssl_cert证书

ssl-key文件

ssl_key

file

--

否

ssl_key文件

ssl密钥

ssl_key_passphrase

string

--

否

ssl_key_passphrase密钥
表10 udp连接器配置规则

规则

对应logstash配置项

类型

默认值

是否必填

描述

名称

title

string

--

是

自定义来源连接器名称。命名规则如下：

  • 名称长度取值范围为5-128个字符。
  • 名称须为工作空间内唯一，不能与工作空间内的其他连接器名称相同。

描述

description

string

--

是

自定义连接器描述。命名规则如下：

  • 名称长度不超过256个字符。

主机地址

host

string

--

是

主机地址

注：与节点网络互通

端口

port

number

1025

是

端口

解码类型

codec

string

json_lines

是

解码类型，json_lines或者plain

  • plain：读取原始内容
  • json_lines：处理json格式内容

重试次数

retry_count

number

3

否

重试次数

重试延迟毫秒数

retry_backoff_ms

number

200

否

重试延迟毫秒数
表11 kafka连接器配置规则

规则

对应logstash配置项

类型

默认值

是否必填

描述

名称

title

string

--

是

自定义来源连接器名称。命名规则如下：

  • 名称长度取值范围为5-128个字符。
  • 名称须为工作空间内唯一，不能与工作空间内的其他连接器名称相同。

描述

description

string

--

是

自定义连接器描述。命名规则如下：

  • 名称长度不超过256个字符。

服务地址

bootstrap_servers

string

--

是

服务地址eg:192.168.21.21:9092,192.168.21.24:9999

主题

topic_id

string

logstash

是

主题

解码类型

codec

string

plain

是

解码类型，json或者plain

请求体最大长度

max_request_size

number

10485760

是

请求体最大长度

安全协议

security_protocol

string

PLAINTEXT

否

安全协议

sasl连接配置

sasl_jaas_config

string

--

否

sasl连接配置

是否加密

is_pw_encrypted

string

true

否

是否加密

sasl机制

sasl_mechanism

string

PLAIN

否

sasl_mechanism

其中，“sasl连接配置”需要根据kafka规格进行填写。示例如下：

  • 明文连接配置 
    org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码';
  • 密文连接配置 
    org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码';
表12 obs连接器配置规则

规则

对应logstash配置项

类型

默认值

是否必填

描述

名称

title

string

--

是

自定义来源连接器名称。命名规则如下：

  • 名称长度取值范围为5-128个字符。
  • 名称须为工作空间内唯一，不能与工作空间内的其他连接器名称相同。

描述

description

string

--

是

自定义连接器描述。命名规则如下：

  • 名称长度不超过256个字符。

region

region

string

cn-north-4

是

region

桶

bucket

string

demo-obs-sec-mrd-datas

是

桶名

endpoint

endpoint

string

https://obs.huawei.com

是

endpoint

缓存文件夹

temporary_directory

string

/temp/logstash/

是

缓存路径

编码类型

codec

string

plain

否

编码格式plain或者json

AK

ak

string

--

否

AK

SK

sk

string

--

否

SK

前缀

prefix

string

test

否

路径前缀

编码格式

encoding

string

gzip

否

编码格式gzip或者纯文件
表13 pipe连接器配置规则

规则

对应logstash配置项

类型

默认值

是否必填

描述

名称

title

string

--

是

自定义来源连接器名称。命名规则如下：

  • 名称长度取值范围为5-128个字符。
  • 名称须为工作空间内唯一，不能与工作空间内的其他连接器名称相同。

描述

description

string

--

是

自定义连接器描述。命名规则如下：

  • 名称长度不超过256个字符。

类型

type

string

租户

是

类型可选配置有“租户”、“平台”、“ECS委托”：

  • 租户：通过IAM认证的场景此处选择“租户”，且需要同步填写“域账户”、“用户名”、“密码”。
  • 平台：通过AK/SK认证的场景此处选择“平台”，且需要同步填写“AK”、“SK”。
  • ECS委托：当租户期望通过ECS委托方式获取Token凭证场景，可选择该配置，租户账号或密码发生变更时不影响数据采集功能。在使用ECS委托前需要在IAM上对ECS云服务授权。

流表

pipe_id

string

--

是

下拉选择流表，即日志数据转入安全云脑的源数据流表。

AK

ak

string

--

是

仅通过AK/SK认证的场景，“类型”设置为“平台”后，需要填写AK。获取AK/SK请参见如何获取访问密钥AK/SK。

SK

sk

string

--

是

仅通过AK/SK认证的场景，“类型”设置为“平台”后，需要填写SK。获取AK/SK请参见如何获取访问密钥AK/SK。

域账户

domain_name

string

domain_name

是

iam账户domaionName。

仅通过IAM认证的场景，“类型”设置为“租户”后，需要填写“域账户”。

用户名

user_name

string

user_name

是

iam账户user_name。

仅通过IAM认证的场景，“类型”设置为“租户”后，需要填写“用户名”。

密码

user_password

string

--

是

iam账户user_password。

仅通过IAM认证的场景，“类型”设置为“租户”后，需要填写“密码”。

压缩类型

compression_type

string

NONE

否

报文压缩类型，推荐使用默认值。

队列满阻止

block_if_queue_full

boolean

true

是

队列满阻止进入，推荐保持默认值。

启用批处理

enable_batching

boolean

true

是

是否开启批处理，推荐保持默认值。
父主题： 数据采集

相关文档