更新时间:2022-02-22 GMT+08:00

配置DIS Logstash Plugin

DIS Logstash Plugins 分为Input与Output插件,本节介绍插件的各个配置项具体含义。

配置DIS Logstash Input

配置模板如下:(该模板为从DIS通道下载数据写入本地文件)

input
{
   dis {
        streams => ["YOUR_DIS_STREAM_NAME"]
        endpoint => "https://dis.${region}.myhuaweicloud.com"
        ak => "YOUR_ACCESS_KEY_ID"
        sk => "YOUR_SECRET_KEY_ID"
        region => "YOUR_Region"
        project_id => "YOUR_PROJECT_ID"
        group_id => "YOUR_APP_ID"
        client_id => "YOUR_CLIENT_ID"
        auto_offset_reset => "earliest"
    }
}
output
{
    file {
       path => ["/tmp/test.log"]
   }
}
表1 DIS Logstash Input配置项说明

配置项

是否必填

说明

默认值

stream

指定在DIS服务上创建的通道名称。

与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。

ak

用户的Access Key。

获取方式请参见检查认证信息

请根据实际情况配置

sk

用户的Secret Key。

获取方式请参见检查认证信息

请根据实际情况配置

region

将数据上传到指定Region的DIS服务。

-

project_id

用户所属区域的项目ID。

获取方式请参见检查认证信息

请根据实际情况配置

client_id

客户端ID,用于标识消费组内的消费者。

起多个pipeline或者多个Logstash实例消费时,需要配置不同的值。比如实例1的值为client1,实例2的值为client2。

logstash

endpoint

DIS对应Region的数据接口地址。

-

group_id

DIS App名称,用于标识一个消费组,值可以为任意字符串

请根据实际情况配置

auto_offset_reset

指定数据从通道中开始消费的位置,支持:

earliest:从通道中最早的数据开始消费

latest:从通道中最新的数据开始消费

latest

配置DIS Logstash Output

配置模板如下:(该模板为读取本地文件数据并上传到DIS通道)

input
{
   file {
       path => ["/tmp/test.log"]
       type => "log4j"
       start_position => "beginning"
   }
}
output
{
    dis {
        stream => ["YOUR_DIS_STREAM_NAME"]
        endpoint => "https://dis.${region}.myhuaweicloud.com"
        ak => "YOUR_ACCESS_KEY_ID"
        sk => "YOUR_SECRET_KEY_ID"
        region => "YOUR_Region"
        project_id => "YOUR_PROJECT_ID"
    }
}
表2 DIS Logstash Output配置项说明

配置项

是否必填

说明

默认值

stream

指定在DIS服务上创建的通道名称。

与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。

ak

用户的Access Key。

获取方式请参见检查认证信息

请根据实际情况配置

sk

用户的Secret Key。

获取方式请参见检查认证信息

请根据实际情况配置

region

将数据上传到指定Region的DIS服务。

-

project_id

用户所属区域的项目ID。

获取方式请参见检查认证信息

请根据实际情况配置

body_compress_enabled

是否开启传输数据压缩。

body_compress_type

数据压缩类型,当前支持的压缩算法:

lz4:综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。

snappy:其目标不是最大限度压缩或者兼容其他压缩格式,而是旨在提供高速压缩速度和合理的压缩率。

zstd:一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。

lz4