连接器规则说明

传输控制协议 TCP

tcp

用于接收TCP协议日志，配置规则请参见表2。

用户数据协议 UDP

udp

用于接收UDP协议日志，配置规则请参见表3。

对象存储 OBS

obs

用于读取对象存储OBS桶的日志数据，配置规则请参见表4。

消息队列 KAFKA

kafka

用于读取Kafka网络日志数据，配置规则请参见表5。

云脑管道 PIPE

pipe

用于将安全云脑数据外发到租户侧，配置规则请参见表6。

Elasticsearch CSS

elasticsearch

用于读取ES集群的数据，配置规则请参见表7。

端口

port

number

1025

是

采集节点端口号

解码类型

codec

string

plain

是

编码格式

• plain：读取原始内容
• json：处理json格式内容

报文标签

type

string

tcp

是

用于对日志标签

是否SSL

ssl_enable

boolean

false

否

是否开启ssl认证

ssl证书

ssl_cert

file

null

否

cert证书

ssl-key文件

ssl_key

file

--

否

ssl-key文件

ssl秘钥

ssl_key_passphrase

string

--

否

ssl证书密钥

端口

port

number

1025

是

采集节点端口好

解码类型

codec

string

plain

是

解码类型

• plain：读取原始内容
• json：处理json格式内容

报文标签

type

string

udp

否

报文标签，有于后续处理的标记

队列大小

queue_size

number

20000

否

队列大小

接收缓冲区字节数

receive_buffer_bytes

number

20000

否

接收缓冲区字节数

缓冲区大小

buffer_size

number

10000

否

缓冲区大小

工作线程

workers

number

1

否

工作线程数

region

region

string

--

是

region

桶

bucket

string

demo-obs-sec-mrd-datas

是

对象桶名

endpoint

endpoint

string

--

是

endpoint地址，注意要添加https

AK

ak

string

--

否

AK

SK

sk

string

--

否

SK

前缀

prefix

string

/test

否

日志读的文件夹前缀

缓存文件夹

temporary_directory

string

/temp

否

日志读取时，缓存的文件夹

报文标签

type

string

--

否

报文标签

记忆路径

sincedb_path

string

/opt/cloud/logstash/pipeline/file_name

否

用于设置读取的位置信息，防止重启导致的全文遍历

服务地址

bootstrap_servers

string

--

是

服务地址

主题

topics

array

logstash

是

主题，可同时消费多个主题

消费线程

consumer_threads

number

1

是

消费线程

偏移复位

auto_offset_reset

string

latest

否

偏移复位

• earliest：读取最早的消息
• latest：读取最新的消息

SSL证书

ssl_truststore_location

file

--

否

SSL证书

当选择SSL相关协议时需要填写该参数

SSL秘钥

ssl_truststore_password

string

--

否

SSL秘钥

当选择SSL相关协议时需要填写该参数

安全协议

security_protocol

string

SASL_SSL

否

安全协议

sasl连接配置

sasl_jaas_config

string

--

否

sasl连接配置

是否加密

is_pw_encrypted

string

false

否

是否加密

sasl机制

sasl_mechanism

string

PLAIN

否

sasl_mechanism

分组Id

group_id

string

--

否

group_id

其中，“sasl连接配置”需要根据kafka规格进行填写。示例如下：

• 明文连接配置

  org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码';

• 密文连接配置

  org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码';

类型

type

string

租户

是

类型

管道

pipeId

string

--

是

管道id

域账户

domain_name

string

domain_name

是

账户domaionName

用户名

user_name

string

user_name

是

账户user_name

密码

user_password

string

--

是

账户user_password

订阅类型

subscription_type

string

true

否

订阅类型

• Shared：共享模式
• Exclusive：独占模式
• Failover：灾备模式

订阅初始位置

subscription_initial_position

string

true

否

订阅初始位置

主机地址

hosts

array

--

是

主机地址

索引

index

string

--

是

索引

检索语句

query

string

--

是

检索语句

用户名

user

string

--

是

用户名

密码

user_password

string

--

是

密码

查询数量

size

number

20

是

查询数量

卷

scroll

string

5m

是

卷

文档信息

docinfo

boolean

true

是

文档信息

是否配置加密

is_pw_encrypted

boolean

true

是

是否配置加密

是否SSL

ssl

boolean

true

否

是否SSL

证书文件

ca_file

file

--

否

证书文件

是否SSL证书校验

ssl_certificate_verification

boolean

true

否

是否SSL校验

传输控制协议 TCP

tcp

用于发送TCP协议日志，配置规则请参见表9。

用户数据协议 UDP

udp

用于发送UDP协议日志，配置规则请参见表10。

消息队列 KAFKA

kafka

用于将日志写入Kafka消息队列，配置规则请参见表11。

对象存储 OBS

obs

用于写日志到对象存储OBS桶中，配置规则请参见表12。

云脑管道 PIPE

pipe

用于将日志写入安全云脑管道中，配置规则请参见表13。

端口

port

number

1025

是

端口

解码类型

codec

string

plain

是

解码类型，json_lines或者plain

• plain：读取原始内容
• json_lines：处理json格式内容

主机地址

host

string

192.168.0.66

是

host地址

注：与节点网络互通

ssl证书

ssl_cert

file

--

否

ssl_cert证书

是否SSL

ssl_enable

boolean

false

否

是否开启ssl

ssl-key文件

ssl_key

file

--

否

ssl_key文件

ssl秘钥

ssl_key_passphrase

string

--

否

ssl_key_passphrase密钥

主机地址

host

string

--

是

主机地址

注：与节点网络互通

端口

port

number

1025

是

端口

解码类型

codec

string

json_lines

是

解码类型，json_lines或者plain

• plain：读取原始内容
• json_lines：处理json格式内容

重试次数

retry_count

number

3

否

重试次数

重试延迟毫秒数

retry_backoff_ms

number

200

否

重试延迟毫秒数

服务地址

bootstrap_servers

string

--

是

服务地址eg:192.168.21.21:9092,192.168.21.24:9999

主题

topic_id

string

logstash

是

主题

解码类型

codec

string

plain

是

解码类型，json或者plain

请求体最大长度

max_request_size

number

10485760

是

请求体最大长度

SSL证书

ssl_truststore_location

file

--

否

SSL证书

当选择SSL相关协议时需要填写该参数

SSL秘钥

ssl_truststore_password

string

--

否

SSL秘钥

当选择SSL相关协议时需要填写该参数

安全协议

security_protocol

string

PLAINTEXT

否

安全协议

sasl连接配置

sasl_jaas_config

string

--

否

sasl连接配置

是否加密

is_pw_encrypted

string

true

否

是否加密

sasl机制

sasl_mechanism

string

PLAIN

否

sasl_mechanism

其中，“sasl连接配置”需要根据kafka规格进行填写。示例如下：

• 明文连接配置

  org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码';

• 密文连接配置

  org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码';

region

region

string

--

是

region

桶

bucket

string

demo-obs-sec-mrd-datas

是

桶名

endpoint

endpoint

string

--

是

endpoint

缓存文件夹

temporary_directory

string

/temp/logstash/

是

缓存路径

编码类型

codec

string

plain

否

编码格式plain或者json

AK

ak

string

--

否

AK

SK

sk

string

--

否

SK

前缀

prefix

string

test

否

路径前缀

编码格式

encoding

string

gzip

否

编码格式gzip或者纯文件

记忆路径

sincedb_path

string

/opt/cloud/logstash/pipeline/file_name

否

用于设置读取的位置信息，防止重启导致的全文遍历

类型

type

string

租户

是

类型

管道

pipeId

string

--

是

管道

AK

ak

string

--

是

AK

选择平台类型需填写该参数

SK

sk

string

--

是

SK

选择平台类型需填写该参数

域账户

domain_name

string

domain_name

是

账户domain_name

选择租户类型需填写该参数

用户名

user_name

string

user_name

是

账户user_name

选择租户类型需填写该参数

密码

user_password

string

--

是

账户user_password

选择租户类型需填写该参数

压缩类型

compression_type

string

NONE

否

报文压缩类型

队列满阻止

block_if_queue_full

boolean

true

否

队列满阻止进入

启用批处理

enable_batching

boolean

true

否

是否开启批处理