配置DIS Logstash Plugin
DIS Logstash Plugins 分为Input与Output插件，本节介绍插件的各个配置项具体含义。
配置DIS Logstash Input
配置模板如下：（该模板为从DIS通道下载数据写入本地文件）
input
{
dis {
streams => ["YOUR_DIS_STREAM_NAME"]
endpoint => "https://dis.${region}.myhuaweicloud.com"
ak => "YOUR_ACCESS_KEY_ID"
sk => "YOUR_SECRET_KEY_ID"
region => "YOUR_Region"
project_id => "YOUR_PROJECT_ID"
group_id => "YOUR_APP_ID"
client_id => "YOUR_CLIENT_ID"
auto_offset_reset => "earliest"
}
}
output
{
file {
path => ["/tmp/test.log"]
}
} 配置项 | 是否必填 | 说明 | 默认值 |
|---|---|---|---|
stream | 是 | 指定在DIS服务上创建的通道名称。 | 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 |
ak | 是 | 用户的Access Key。 获取方式请参见检查认证信息。 | 请根据实际情况配置 |
sk | 是 | 用户的Secret Key。 获取方式请参见检查认证信息。 | 请根据实际情况配置 |
region | 是 | 将数据上传到指定Region的DIS服务。 | cn-north-1 |
project_id | 是 | 用户所属区域的项目ID。 获取方式请参见检查认证信息。 | 请根据实际情况配置 |
client_id | 否 | 客户端ID，用于标识消费组内的消费者。 起多个pipeline或者多个Logstash实例消费时，需要配置不同的值。比如实例1的值为client1，实例2的值为client2。 | logstash |
endpoint | 是 | DIS对应Region的数据接口地址。 | https://dis.cn-north-1.myhuaweicloud.com |
group_id | 是 | DIS App名称，用于标识一个消费组，值可以为任意字符串 | 请根据实际情况配置 |
auto_offset_reset | 否 | 指定数据从通道中开始消费的位置，支持： earliest：从通道中最早的数据开始消费 latest：从通道中最新的数据开始消费 | latest |
配置DIS Logstash Output
配置模板如下：（该模板为读取本地文件数据并上传到DIS通道）
input
{
file {
path => ["/tmp/test.log"]
type => "log4j"
start_position => "beginning"
}
}
output
{
dis {
stream => ["YOUR_DIS_STREAM_NAME"]
endpoint => "https://dis.${region}.myhuaweicloud.com"
ak => "YOUR_ACCESS_KEY_ID"
sk => "YOUR_SECRET_KEY_ID"
region => "YOUR_Region"
project_id => "YOUR_PROJECT_ID"
}
} 配置项 | 是否必填 | 说明 | 默认值 |
|---|---|---|---|
stream | 是 | 指定在DIS服务上创建的通道名称。 | 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 |
ak | 是 | 用户的Access Key。 获取方式请参见检查认证信息。 | 请根据实际情况配置 |
sk | 是 | 用户的Secret Key。 获取方式请参见检查认证信息。 | 请根据实际情况配置 |
region | 是 | 将数据上传到指定Region的DIS服务。 | cn-north-1 |
project_id | 是 | 用户所属区域的项目ID。 获取方式请参见检查认证信息。 | 请根据实际情况配置 |
body_compress_enabled | 否 | 是否开启传输数据压缩。 | 否 |
body_compress_type | 否 | 数据压缩类型，当前支持的压缩算法： lz4：综合来看效率最高的压缩算法,更加侧重压缩解压速度，压缩比并不是第一。 snappy：其目标不是最大限度压缩或者兼容其他压缩格式，而是旨在提供高速压缩速度和合理的压缩率。 zstd：一种新的无损压缩算法，旨在提供快速压缩，并实现高压缩比。 | lz4 |
