系统模板配置参数说明
- redis： 从redis数据库导入数据到Elasticsearch类型集群。
详细请参考https://www.elastic.co/guide/en/logstash/7.10/plugins-inputs-redis.html
表1 参数说明 参数
是否必填
说明
data_type
是
数据源类型。包括list，channel，pattern_channel。
- 如果data_type为list，则使用BLPOP密钥。
- 如果data_type为channel，使用SUBSCRIBE 密钥。
- 如果data_type为pattern_channel，则使用PSUBSCRIBE密钥。
key
是
Redis的list或者channel名称。
host
是
Redis服务器的IP。
port
否
需要连接的端口号。
默认值：6379。
hosts
是
Elasticsearch集群的节点IP。
user
否
登录Elasticsearch集群的用户名，一般为admin。
如果是安全集群，需要输入此参数。
password
否
登录Elasticsearch集群的密码。此密码为创建集群时设置的密码。
如果是安全集群，需要输入此参数。
index
是
配置为需要迁移数据的索引，即用户需要迁移数据到哪个索引，就配置哪个索引。
不支持配置多条索引。
- elasticsearch：从Elasticsearch类型集群导入数据到Elasticsearch类型集群。
详细请参考https://www.elastic.co/guide/en/logstash/7.10/plugins-inputs-elasticsearch.html
表2 配置项说明 配置项
是否必填
说明
hosts
是
导入数据的Elasticsearch集群的节点IP。
user
否
登录Elasticsearch集群的用户名，一般为admin。
如果是安全集群，需要输入此参数。
password
否
登录Elasticsearch集群的密码。此密码为创建集群时设置的密码。
如果是安全集群，需要输入此参数。
index
是
导入数据的索引，即用户需要从哪个索引迁移出数据。
docinfo
否
文档信息。
取值范围：true、false。
如果设置，请在事件中包括Elasticsearch文档信息，例如索引，类型和ID。
ca_file
否
默认值"/rds/datastore/logstash/v7.10.0/package/logstash-7.10.0/extend/certs"，云上logstash集群保持默认值不变或使用自定义证书时输入相应的自定义证书路径；自建Logstash集群，可以在开启SSL的ES集群详情页面下载证书文件，在此处输入相应的路径。
ssl
否
源端ES集群启用SSL时，设置为true。
hosts
是
输出数据的Elasticsearch集群的节点IP。
user
否
登录Elasticsearch集群的用户名，一般为admin。
如果是安全集群，需要输入此参数。
password
否
登录Elasticsearch集群的密码。此密码为创建集群时设置的密码。
如果是安全集群，需要输入此参数。
index
是
配置为需要迁移数据的索引，即用户需要迁移数据到哪个索引，就配置哪个索引。
不支持配置多条索引。
document_type
否
当docinfo参数配置为true时，此参数生效。
当docinfo参数配置为false时，需要从配置文件中删除此参数。
document_id
否
当docinfo参数配置为true时，此参数生效。
当docinfo参数配置为false时，需要从配置文件中删除此参数
cacert
否
默认值"/rds/datastore/logstash/v7.10.0/package/logstash-7.10.0/extend/certs"，云上logstash集群保持默认值不变或使用自定义证书时输入相应的自定义证书路径；自建Logstash集群，可以在开启SSL的ES集群详情页面下载证书文件，在此处输入相应的路径。
ssl
否
目的端ES集群启用SSL时，设置为true。
ssl_certificate_verification
否
设置为false时，启用SSL时将忽略验证服务器证书。
- jdbc：从jdbc导入数据到Elasticsearch类型集群。
详细请参考https://www.elastic.co/guide/en/logstash/7.10/plugins-inputs-jdbc.html
表3 参数说明 参数
是否必填
说明
jdbc_driver_library
是
JDBC驱动程序库路径。
- 对于7.10.0版本，该字段设置为jdbc_driver_library => "/rds/datastore/logstash/v7.10.0/package/logstash-7.10.0/extend/jars/mariadb-java-client-2.7.0.jar"。
- 对于5.6.16版本，该字段设置为jdbc_driver_library => "/rds/datastore/logstash/v5.6.16/package/logstash-5.6.16/extend/jars/mariadb-java-client-2.7.0.jar"。
目前仅支持上述已有驱动，暂不支持用户自定义上传。
jdbc_driver_class
是
要加载的JDBC驱动程序类，例如“ org.mariadb.jdbc.Driver”。
jdbc_connection_string
是
JDBC连接字符串。
jdbc_user
是
JDBC用户名。
jdbc_password
是
JDBC密码。
statement
是
输入数据的SQL语句。
hosts
是
输出数据的Elasticsearch集群的节点IP。
user
否
登录Elasticsearch集群的用户名，一般为admin。
如果是安全集群，需要输入此参数。
password
否
登录Elasticsearch集群的密码。此密码为创建集群时设置的密码。
如果是安全集群，需要输入此参数。
index
是
配置为需要迁移数据的索引，即用户需要迁移数据到哪个索引，就配置哪个索引。
不支持配置多条索引。
- kafka：从kafka导入数据到Elasticsearch类型集群。
https://www.elastic.co/guide/en/logstash/7.10/plugins-inputs-kafka.html
表4 参数说明 参数
是否必填
说明
bootstrap_servers
是
Kafka实例的IP和端口号。
topics
是
要订阅的主题列表。
group_id
是
该消费者所属的组的标识符。
auto_offset_reset
是
Kafka中初始偏移量。
- earliest：将偏移量自动重置为最早的偏移量
- latest：自动将偏移量重置为最新偏移量
- none：如果未找到消费者组的先前偏移量，则向消费者抛出异常
- anything else：向消费者抛出异常。
hosts
是
输出数据的Elasticsearch集群的节点IP。
user
否
登录Elasticsearch集群的用户名，一般为admin。
如果是安全集群，需要输入此参数。
password
否
登录Elasticsearch集群的密码。此密码为创建集群时设置的密码。
如果是安全集群，需要输入此参数。
index
是
配置为需要迁移数据的索引，即用户需要迁移数据到哪个索引，就配置哪个索引。
不支持配置多条索引。
- dis：从dis导入数据到Elasticsearch类型集群。
表5 参数说明 参数
是否必填
说明
streams
是
指定在DIS服务上创建的通道名称。
与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。
endpoint
是
DIS对应Region的数据接口地址。
ak
是
用户的Access Key。
获取方式请参见检查认证信息。
sk
是
用户的Secret Key。
获取方式请参见检查认证信息。
region
是
将数据上传到指定Region的DIS服务。
project_id
是
用户所属区域的项目ID。
获取方式请参见检查认证信息。
group_id
是
DIS App名称，用于标识一个消费组，值可以为任意字符串。
client_id
否
客户端ID，用于标识消费组内的消费者。
起多个pipeline或者多个Logstash实例消费时，需要配置不同的值。比如实例1的值为client1，实例2的值为client2。
auto_offset_reset
否
指定数据从通道中开始消费的位置，支持：
- earliest：从通道中最早的数据开始消费。
- latest：从通道中最新的数据开始消费。
hosts
是
输出数据的Elasticsearch集群的节点IP。
user
否
登录Elasticsearch集群的用户名，一般为admin。
如果是安全集群，需要输入此参数。
password
否
登录Elasticsearch集群的密码。此密码为创建集群时设置的密码。
如果是安全集群，需要输入此参数。
index
是
配置为需要迁移数据的索引，即用户需要迁移数据到哪个索引，就配置哪个索引。
不支持配置多条索引。
- beats：从beats导入数据到Elasticsearch类型集群。
https://www.elastic.co/guide/en/logstash/7.10/plugins-inputs-beats.html
表6 参数说明 参数
是否必填
说明
port
是
监听的端口号。
使用Logstash通过Beats连接并索引到Elasticsearch的端口号为5044。
hosts
是
输出数据的Elasticsearch集群的节点IP。
user
否
登录Elasticsearch集群的用户名，一般为admin。
如果是安全集群，需要输入此参数。
password
否
登录Elasticsearch集群的密码。此密码为创建集群时设置的密码。
如果是安全集群，需要输入此参数。
index
是
配置为需要迁移数据的索引，即用户需要迁移数据到哪个索引，就配置哪个索引。
不支持配置多条索引。
