更新时间:2024-09-19 GMT+08:00
分享

解析器规则说明

租户采集功能主要使用定制化logstash用于数据中转业务,解析器是对logstash中filter部分的无码化封装。目前,支持如下类型的logstash插件:

表1 支持的类型

解析器

对应logstash中的插件

说明

kv解析

kv

键值对解析,解析规则请参见表2

mutate解析

mutate

mutate解析,解析规则请参见表3

grok解析

grok

正则解析,解析规则请参见表4

date解析

date

时间解析,解析规则请参见表5

drop解析

drop

报文删除。无具体规则,选择该规则,即可删除当前传入的日志记录。

prune解析

prune

黑白名单解析,解析规则请参见表6

csv解析

csv

csv格式解析,解析规则请参见表7

函数解析

ruby

云脑自封装ruby解析,解析规则请参见表8

json解析

json

json处理转化,解析规则请参见表9

Split解析

split

切割解析,解析规则请参见表10

Clone解析

clone

克隆解析,解析规则请参见表11

uuid解析

uuid

uuid解析,解析规则请参见表12

表2 kv解析

解析规则

对应的logstash配置项

类型

默认值

是否必填

描述

源字段

source

string

source

要翻译的字段

目标字段

target

string

message

目标字段

字段切割

field_split

string

,

字段切割

值切割

value_split

string

=

字段切割

去除字段空格

trim_key

string

--

去除key中的空格

去除值空格

trim_value

string

--

去除value中的空格

允许重复

allow_duplicate_values

boolean

true

允许重复

默认字段

default_keys

array

--

添加key

排除字段

exclude_keys

array

--

排除key

包含字段

include_keys

array

--

包含key

前缀匹配

prefix

string

--

前缀匹配

递归解析

recursive

boolean

true

递归解析

字段转化

transform_key

string

--

key的转换

添加字段

add_field

hash

--

添加字段

添加Tag

add_tag

array

--

添加tag

移除字段

remove_field

array

--

移除字段

移除Tag

remove_tag

array

--

移除tag

id标记

id

string

--

id标记

空白策略

whitespace

string

strict/lenient

空白策略

字段修剪

remove_char_key

string

<>[](),

字段修剪

表3 mutate解析

解析规则

对应的logstash配置项

类型

默认值

是否必填

描述

类型转化

convert

hash

--

类型转化

数组联合

join

hash

--

数组联合

转为小写

lowercase

array

--

转化为小写

默认字段

coerce

hash

--

默认字段

字段改名

rename

hash

--

字段改名

字段改值

replace

hash

--

字段改值

字段分割

split

hash

--

字段分割

去除空格

strip

array

--

去除空格

更新字段

update

hash

--

更新字段

转化大写

uppercase

array

--

转化为大写

添加字段

add_field

hash

--

添加字段

添加Tag

add_tag

array

--

添加tag

移除字段

remove_field

array

--

移除字段

移除Tag

remove_tag

array

--

移除tag

ID标记

id

string

--

id标记

字段复制

copy

hash

--

字段复制

gsub值替换

gsub

array

--

gsub值替换

表4 grok解析

解析规则

对应的logstash配置项

类型

默认值

是否必填

描述

正则匹配

match

hash

--

正则匹配

第一匹配

break_on_match

boolean

true

正则匹配跳出

覆盖字段

overwrite

array

message

覆盖字段

添加字段

add_field

hash

--

添加字段

添加Tag

add_tag

array

--

添加tag

移除字段

remove_field

array

--

移除字段

移除Tag

remove_tag

array

--

移除tag

ID标记

id

string

--

id标记

表5 date解析

解析规则

对应的logstash配置项

类型

默认值

是否必填

描述

正则匹配

match

array

--

正则

目标字段

target

string

timestamp

目标字段

添加字段

add_field

hash

--

添加字段

添加Tag

add_tag

array

--

添加tag

移除字段

remove_field

array

--

移除字段

移除Tag

remove_tag

array

--

移除tag

ID标记

id

string

test

id标记

locale

locale

string

--

locale

时区

timezone

string

+8:00

timezone

表6 prune解析

解析规则

对应的logstash配置项

类型

默认值

是否必填

描述

黑名单字段

blacklist_names

array

--

黑名单字段

黑名单值

blacklist_values

array

--

黑名单值

白名单字段

whitelist_names

array

--

白名单字段

白名单值

whitelist_values

array

--

白名单值

表7 csv解析

解析规则

对应的logstash配置项

类型

默认值

是否必填

描述

解析字段

source

string

message

解析字段

列字段

columns

array

--

列字段

切割符

separator

string

,

切割符

跳过空列

skip_empty_columns

boolean

true

跳过空列

表8 函数解析

解析规则

对应的logstash配置项

类型

默认值

是否必填

描述

长度过滤

filter_length

number

10

长度过滤

设置时间

set_time

ruby_time

123

设置时间

表9 json解析

解析规则

对应的logstash配置项

类型

默认值

是否必填

描述

解析字段

source

string

message

解析源

跳过异常

skip_on_invalid_json

boolean

true

跳过异常json解析

添加字段

add_field

hash

null

添加字段

添加Tag

add_tag

array

null

添加tag

移除字段

remove_field

array

null

移除字段

移除Tag

remove_tag

array

null

移除tag

目标字段

target

string

message

目标字段

表10 split解析器解析规则

解析规则

对应的logstash配置项

类型

默认值

是否必填

描述

字段

field

string

message

需要切割的字段

表11 clone解析器解析规则

解析规则

对应的logstash配置项

类型

默认值

是否必填

描述

克隆

clones

array

--

需要克隆的字段列表

表12 uuid解析器解析规则

解析规则

对应的logstash配置项

类型

默认值

是否必填

描述

目标字段

target

string

uuid

目标字段

是否覆盖

overwrite

boolean

true

是否覆盖

相关文档