连接器规则说明

传输控制协议 TCP

tcp

用于接收TCP协议日志，配置规则请参见表2。

文件 File

file

用于接收本地文件的日志类型，配置规则请参见表3。

用户数据协议 UDP

udp

用于接收UDP协议日志，配置规则请参见表4。

对象存储 OBS

obs

用于读取对象存储OBS桶的日志数据，配置规则请参见表5。

消息队列 KAFKA

kafka

用于读取Kafka网络日志数据，配置规则请参见表6。

云脑管道 PIPE

pipe

用于将安全云脑数据外发到租户侧，配置规则请参见表7。

Elasticsearch CSS

elasticsearch

用于读去ES集群的数据，配置规则请参见表8。

端口

port

number

1025

是

采集节点端口号

解码类型

codec

string

plain

是

编码格式

• plain：读取原始内容
• json：处理json格式内容

报文标签

type

string

tcp

是

用于对日志标签

是否SSL

ssl_enable

boolean

false

否

是否开启ssl认证

ssl证书

ssl_cert

file

null

否

cert证书

ssl-key文件

ssl_key

file

--

否

ssl-key文件

ssl秘钥

ssl_key_passphrase

string

--

否

ssl证书密钥

文件路径

path

array

/opt/cloud/logstash/config/in.txt

是

读取的文件路径

开始位置

start_position

string

beginning

是

开始读入的位置

解码类型

codec

string

json

是

解码类型codec

• plain：读取原始内容
• json：处理json格式内容

报文标签

type

string

file

否

报文标签，有于后续处理的标记

启用度量

enable_metric

boolean

true

否

enableMetric

端口

port

number

1025

是

采集节点端口好

解码类型

codec

string

plain

是

解码类型

• plain：读取原始内容
• json：处理json格式内容

报文标签

type

string

udp

否

报文标签，有于后续处理的标记

队列大小

queue_size

number

20000

否

队列大小

接收缓冲区字节数

receive_buffer_bytes

number

20000

否

接收缓冲区字节数

缓冲区大小

buffer_size

number

10000

否

缓冲区大小

工作线程

workers

number

1

否

工作线程数

region

region

string

--

是

region

桶

bucket

string

demo-obs-sec-mrd-datas

是

对象桶名

endpoint

endpoint

string

https://obs.huawei.com

是

endpoint地址，注意要添加https

AK

ak

string

--

否

AK

SK

sk

string

--

否

SK

前缀

prefix

string

/test

否

日志读的文件夹前缀

缓存文件夹

temporary_directory

string

/temp

否

日志读取时，缓存的文件夹

报文标签

type

string

--

否

报文标签

记忆路径

sincedb_path

string

/opt/cloud/logstash/pipeline/file_name

否

用于设置读取的位置信息，防止重启导致的全文遍历

服务地址

bootstrap_servers

string

--

是

服务地址

主题

topics

array

logstash

是

主题，可同时消费多个主题

消费线程

consumer_threads

number

1

是

消费线程

偏移复位

auto_offset_reset

string

latest

否

偏移复位

• earliest：读取最早的消息
• latest：读取最新的消息

SSL证书

ssl_truststore_location

file

--

否

SSL证书

当选择SSL相关协议时需要填写该参数

SSL秘钥

ssl_truststore_password

string

--

否

SSL秘钥

当选择SSL相关协议时需要填写该参数

安全协议

security_protocol

string

SASL_SSL

否

安全协议

sasl连接配置

sasl_jaas_config

string

--

否

sasl连接配置

是否加密

is_pw_encrypted

string

false

否

是否加密

sasl机制

sasl_mechanism

string

PLAIN

否

sasl_mechanism

分组Id

group_id

string

--

否

group_id

其中，“sasl连接配置”需要根据kafka规格进行填写。示例如下：

• 明文连接配置

  org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码';

• 密文连接配置

  org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码';

类型

type

string

租户

是

类型

管道

pipeId

string

--

是

管道id

域账户

domain_name

string

domain_name

是

iam账户domaionName

用户名

user_name

string

user_name

是

iam账户user_name

密码

user_password

string

--

是

iam账户user_password

订阅类型

subscription_type

string

true

否

订阅类型

• Shared：共享模式
• Exclusive：独占模式
• Failover：灾备模式

订阅初始位置

subscription_initial_position

string

true

否

订阅初始位置

主机地址

hosts

array

--

是

主机地址

索引

index

string

--

是

索引

检索语句

query

string

--

是

检索语句

用户名

user

string

--

是

用户名

密码

user_password

string

--

是

密码

查询数量

size

number

20

是

查询数量

卷

scroll

string

5m

是

卷

文档信息

docinfo

boolean

true

是

文档信息

是否配置加密

is_pw_encrypted

boolean

true

是

是否配置加密

是否SSL

ssl

boolean

true

否

是否SSL

证书文件

ca_file

file

--

否

证书文件

是否SSL证书校验

ssl_certificate_verification

boolean

true

否

是否SSL校验

文件 File

file

用于写入到节点本地文件，配置规则请参见表10。

传输控制协议 TCP

tcp

用于发送TCP协议日志，配置规则请参见表11。

用户数据协议 UDP

udp

用于发送UDP协议日志，配置规则请参见表12。

消息队列 KAFKA

kafka

用于将日志写入Kafka消息队列，配置规则请参见表13。

对象存储 OBS

obs

用于写日志到对象存储OBS桶中，配置规则请参见表14。

云脑管道 PIPE

pipe

用于将日志写入安全云脑管道中，配置规则请参见表15。

输出路径

path

string

/opt/cloud/logstash/config/out.txt

是

输出节点文件路径

删除时创建

create_if_deleted

boolean

true

是

不存在则创建

解码类型

codec

string

json_lines

是

Codec

• plain：读取原始内容
• json_lines：处理json格式内容

端口

port

number

1025

是

端口

解码类型

codec

string

plain

是

解码类型，json_lines或者plain

• plain：读取原始内容
• json_lines：处理json格式内容

主机地址

host

string

192.168.0.66

是

host地址

注：与节点网络互通

ssl证书

ssl_cert

file

--

否

ssl_cert证书

是否SSL

ssl_enable

boolean

false

否

是否开启ssl

ssl-key文件

ssl_key

file

--

否

ssl_key文件

ssl秘钥

ssl_key_passphrase

string

--

否

ssl_key_passphrase密钥

主机地址

host

string

--

是

主机地址

注：与节点网络互通

端口

port

number

1025

是

端口

解码类型

codec

string

json_lines

是

解码类型，json_lines或者plain

• plain：读取原始内容
• json_lines：处理json格式内容

重试次数

retry_count

number

3

否

重试次数

重试延迟毫秒数

retry_backoff_ms

number

200

否

重试延迟毫秒数

服务地址

bootstrap_servers

string

--

是

服务地址eg:192.168.21.21:9092,192.168.21.24:9999

主题

topic_id

string

logstash

是

主题

解码类型

codec

string

plain

是

解码类型，json或者plain

请求体最大长度

max_request_size

number

10485760

是

请求体最大长度

SSL证书

ssl_truststore_location

file

--

否

SSL证书

当选择SSL相关协议时需要填写该参数

SSL秘钥

ssl_truststore_password

string

--

否

SSL秘钥

当选择SSL相关协议时需要填写该参数

安全协议

security_protocol

string

PLAINTEXT

否

安全协议

sasl连接配置

sasl_jaas_config

string

--

否

sasl连接配置

是否加密

is_pw_encrypted

string

true

否

是否加密

sasl机制

sasl_mechanism

string

PLAIN

否

sasl_mechanism

其中，“sasl连接配置”需要根据kafka规格进行填写。示例如下：

• 明文连接配置

  org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码';

• 密文连接配置

  org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码';

region

region

string

--

是

region

桶

bucket

string

demo-obs-sec-mrd-datas

是

桶名

endpoint

endpoint

string

https://obs.huawei.com

是

endpoint

缓存文件夹

temporary_directory

string

/temp/logstash/

是

缓存路径

编码类型

codec

string

plain

否

编码格式plain或者json

AK

ak

string

--

否

AK

SK

sk

string

--

否

SK

前缀

prefix

string

test

否

路劲前缀

编码格式

encoding

string

gzip

否

编码格式gzip或者纯文件

记忆路径

sincedb_path

string

/opt/cloud/logstash/pipeline/file_name

否

用于设置读取的位置信息，防止重启导致的全文遍历

类型

type

string

租户

是

类型

管道

pipeId

string

--

是

管道

AK

ak

string

--

是

AK

选择平台类型需填写该参数

SK

sk

string

--

是

SK

选择平台类型需填写该参数

域账户

domain_name

string

domain_name

是

iam账户domain_name

选择租户类型需填写该参数

用户名

user_name

string

user_name

是

iam账户user_name

选择租户类型需填写该参数

密码

user_password

string

--

是

iam账户user_password

选择租户类型需填写该参数

压缩类型

compression_type

string

NONE

否

报文压缩类型

队列满阻止

block_if_queue_full

boolean

true

否

队列满阻止进入

启用批处理

enable_batching

boolean

true

否

是否开启批处理