配置DIS Logstash Plugin
DIS Logstash Plugins 分为Input与Output插件,本节介绍插件的各个配置项具体含义。
配置DIS Logstash Input
配置模板如下:(该模板为从DIS通道下载数据写入本地文件)
input { dis { streams => ["YOUR_DIS_STREAM_NAME"] endpoint => "https://dis.${region}.myhuaweicloud.com" ak => "YOUR_ACCESS_KEY_ID" sk => "YOUR_SECRET_KEY_ID" region => "YOUR_Region" project_id => "YOUR_PROJECT_ID" group_id => "YOUR_APP_ID" client_id => "YOUR_CLIENT_ID" auto_offset_reset => "earliest" } } output { file { path => ["/tmp/test.log"] } }
配置项 |
是否必填 |
说明 |
默认值 |
---|---|---|---|
stream |
是 |
指定在DIS服务上创建的通道名称。 |
与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 |
ak |
是 |
用户的Access Key。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
sk |
是 |
用户的Secret Key。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
region |
是 |
将数据上传到指定Region的DIS服务。 |
- |
project_id |
是 |
用户所属区域的项目ID。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
client_id |
否 |
客户端ID,用于标识消费组内的消费者。 起多个pipeline或者多个Logstash实例消费时,需要配置不同的值。比如实例1的值为client1,实例2的值为client2。 |
logstash |
endpoint |
是 |
DIS对应Region的数据接口地址。 |
- |
group_id |
是 |
DIS App名称,用于标识一个消费组,值可以为任意字符串 |
请根据实际情况配置 |
auto_offset_reset |
否 |
指定数据从通道中开始消费的位置,支持: earliest:从通道中最早的数据开始消费 latest:从通道中最新的数据开始消费 |
latest |
配置DIS Logstash Output
配置模板如下:(该模板为读取本地文件数据并上传到DIS通道)
input { file { path => ["/tmp/test.log"] type => "log4j" start_position => "beginning" } } output { dis { stream => ["YOUR_DIS_STREAM_NAME"] endpoint => "https://dis.${region}.myhuaweicloud.com" ak => "YOUR_ACCESS_KEY_ID" sk => "YOUR_SECRET_KEY_ID" region => "YOUR_Region" project_id => "YOUR_PROJECT_ID" } }
配置项 |
是否必填 |
说明 |
默认值 |
---|---|---|---|
stream |
是 |
指定在DIS服务上创建的通道名称。 |
与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 |
ak |
是 |
用户的Access Key。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
sk |
是 |
用户的Secret Key。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
region |
是 |
将数据上传到指定Region的DIS服务。 |
- |
project_id |
是 |
用户所属区域的项目ID。 获取方式请参见检查认证信息。 |
请根据实际情况配置 |
body_compress_enabled |
否 |
是否开启传输数据压缩。 |
否 |
body_compress_type |
否 |
数据压缩类型,当前支持的压缩算法: lz4:综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 snappy:其目标不是最大限度压缩或者兼容其他压缩格式,而是旨在提供高速压缩速度和合理的压缩率。 zstd:一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。 |
lz4 |