配置DIS Logstash Plugin
DIS Logstash Plugins 分为Input与Output插件，本节介绍插件的各个配置项具体含义。
配置DIS Logstash Input
配置模板如下：（该模板为从DIS通道下载数据写入本地文件）
input
{
dis {
streams => ["YOUR_DIS_STREAM_NAME"]
endpoint => "https://dis.${region}.myhuaweicloud.com"
ak => "YOUR_ACCESS_KEY_ID"
sk => "YOUR_SECRET_KEY_ID"
region => "YOUR_Region"
project_id => "YOUR_PROJECT_ID"
group_id => "YOUR_APP_ID"
client_id => "YOUR_CLIENT_ID"
auto_offset_reset => "earliest"
}
}
output
{
file {
path => ["/tmp/test.log"]
}
}
|
配置项 |
是否必填 |
说明 |
默认值 |
|---|---|---|---|
|
stream |
是 |
指定在DIS服务上创建的通道名称。 |
与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 |
|
ak |
是 |
用户的Access Key。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
|
sk |
是 |
用户的Secret Key。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
|
region |
是 |
将数据上传到指定Region的DIS服务。 |
cn-north-1 |
|
project_id |
是 |
用户所属区域的项目ID。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
|
client_id |
否 |
客户端ID，用于标识消费组内的消费者。 起多个pipeline或者多个Logstash实例消费时，需要配置不同的值。比如实例1的值为client1，实例2的值为client2。 |
logstash |
|
endpoint |
是 |
DIS对应Region的数据接口地址。 |
https://dis.cn-north-1.myhuaweicloud.com |
|
group_id |
是 |
DIS App名称，用于标识一个消费组，值可以为任意字符串 |
请根据实际情况配置 |
|
auto_offset_reset |
否 |
指定数据从通道中开始消费的位置，支持： earliest：从通道中最早的数据开始消费 latest：从通道中最新的数据开始消费 |
latest |
配置DIS Logstash Output
配置模板如下：（该模板为读取本地文件数据并上传到DIS通道）
input
{
file {
path => ["/tmp/test.log"]
type => "log4j"
start_position => "beginning"
}
}
output
{
dis {
stream => ["YOUR_DIS_STREAM_NAME"]
endpoint => "https://dis.${region}.myhuaweicloud.com"
ak => "YOUR_ACCESS_KEY_ID"
sk => "YOUR_SECRET_KEY_ID"
region => "YOUR_Region"
project_id => "YOUR_PROJECT_ID"
}
}
|
配置项 |
是否必填 |
说明 |
默认值 |
|---|---|---|---|
|
stream |
是 |
指定在DIS服务上创建的通道名称。 |
与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 |
|
ak |
是 |
用户的Access Key。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
|
sk |
是 |
用户的Secret Key。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
|
region |
是 |
将数据上传到指定Region的DIS服务。 |
cn-north-1 |
|
project_id |
是 |
用户所属区域的项目ID。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
|
body_compress_enabled |
否 |
是否开启传输数据压缩。 |
否 |
|
body_compress_type |
否 |
数据压缩类型，当前支持的压缩算法： lz4：综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 snappy：其目标不是最大限度压缩或者兼容其他压缩格式，而是旨在提供高速压缩速度和合理的压缩率。 zstd：一种新的无损压缩算法，旨在提供快速压缩，并实现高压缩比。 |
lz4 |
