# 从DIS导入数据到Elasticsearch/OpenSearch的配置文件样例
本文以源端是数据接入服务DIS、目的端是CSS服务的Elasticsearch/OpenSearch集群为例，介绍使用CSS服务的Logstash进行集群迁移的配置文件样例。
```
# logstash-input-dis
input {
    dis {
        # DIS服务中创建的通道名称
        streams => ["YOUR_DIS_STREAM_NAME"]
        # DIS服务所属Region的终端节点
        endpoint => "https://dis.example.com"
        # 用户的身份凭证AK/SK
        ak => "YOUR_ACCESS_KEY_ID"
        sk => "YOUR_SECRET_KEY_ID"
        # DIS服务所属Region
        region => "YOUR_Region"
        # 项目ID
        project_id => "YOUR_PROJECT_ID"
        # DIS服务的App名称
        group_id => "YOUR_APP_ID"
        # 客户端ID
        client_id => "YOUR_CLIENT_ID"
        # 指定数据从通道中开始消费的位置
        auto_offset_reset => "earliest"
    }
}
filter {
    # 移除一些Logstash事件添加的元数据字段
    mutate {
        remove_field => ["@timestamp", "@version"]
    }
}
# logstash-output-elasticsearch
output {
    elasticsearch {
        # 目的端集群的节点访问地址，无需添加协议
        hosts => ["xxx.xxx.xxx.xxx:9200", "xxx.xxx.xxx.xxx:9200"]
        # 事件写入的索引名称
        index => "xxx"
        # 安全集群必配 (非安全集群请删除以下配置)
        # user => "xxx"           # 访问集群的用户名
        # password => "xxx"       # 用户名对应的密码
        # 目的端集群启用SSL时，则需额外配置以下信息
        # ssl => true
        # cacert => "/opt/logstash/extend/certs"       # 用于认证目的端集群的CA证书文件路径
        # ssl_certificate_verification => false        # 目的端集群是否启用安全证书认证
    }
}
```
表1配置项说明 
| 配置项                          | 是否必填 | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
|:---|:---|:---|
| **logstash-input-dis**                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |||
| streams                      | 是    | DIS服务中创建的通道名称。 与DIS控制台"购买接入通道"时配置的"通道名称"取值一致。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
| endpoint                     | 是    | DIS服务所属Region的终端节点。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
| ak                           | 是    | 用户的身份凭证Access Key。 获取方式请参见[检查认证信息](https://support.huaweicloud.com/usermanual-dis/dis_01_0030.html#dis_01_0030__section65401174173650)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
| sk                           | 是    | 用户的身份凭证Secret Key。 获取方式请参见[检查认证信息](https://support.huaweicloud.com/usermanual-dis/dis_01_0030.html#dis_01_0030__section65401174173650)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
| region                       | 是    | DIS服务所属Region。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
| project_id                   | 是    | 项目ID。 获取方式请参见[检查认证信息](https://support.huaweicloud.com/usermanual-dis/dis_01_0030.html#dis_01_0030__section65401174173650)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
| group_id                     | 是    | DIS服务的App名称，用于标识一个消费组，值可以为任意字符串。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
| client_id                    | 否    | 客户端ID，用于标识消费组内的消费者。 起多个pipeline或者多个Logstash实例消费时，需要配置不同的值。比如实例1的值为client1，实例2的值为client2。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
| auto_offset_reset            | 否    | 指定数据从通道中开始消费的位置。 取值范围： - earliest：从通道中最早的数据开始消费。  - latest：从通道中最新的数据开始消费。                                                                                                                                                                                                                                                                                                                         |
| **logstash-output-elasticsearch**                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |||
| hosts                        | 是    | 目的端集群的节点访问地址。支持配置多个IP地址。 取值格式：\["\<节点IP地址1\>:\<端口号\>", "\<节点IP地址2\>:\<端口号\>"\]                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |
| index                        | 是    | 事件写入的索引名称，即指定数据写入到哪个索引。 - 单个索引：直接输入单个索引名称（如"my_index"）。  - 多个索引：基于字段的动态命名或多个条件输出块来匹配多个索引。                                                                                                                                                                                                                                                                                                                                                        |
| user                         | 否    | 访问目的端集群的用户名。 安全模式的集群必填。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
| password                     | 否    | 访问目的端集群的用户名对应的密码。 安全模式的集群必填。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
| ssl                          | 否    | 目的端集群是否启用SSL。 取值范围： - true：使用HTTPS协议传输数据。  - false：使用HTTP协议传输数据。                                                                                                                                                                                                                                                                                                                                         |
| cacert                       | 否    | 用于认证目的端集群的CA证书文件路径。 取值格式：\<证书路径\>\<证书名称\>（如/opt/logstash/extend/certs） - 当目的端集群是CSS服务的Elasticsearch或OpenSearch时，获取默认CA证书的"证书名称"和"证书路径"。操作指导请参见[查看默认证书](https://support.huaweicloud.com/usermanual-css/css_01_0247.html)。  - 当目的端集群是自建或第三方Elasticsearch或OpenSearch时，则将目的端集群的安全证书上传至Logstash并获取"证书名称"和"证书路径"。操作指导请参见[上传自定义证书](https://support.huaweicloud.com/usermanual-css/css_01_0247.html)。   |
| ssl_certificate_verification | 否    | 目的端集群是否启用安全证书认证。 取值范围： - true（默认值）：使用安全证书认证目的端集群。  - false：忽略安全证书认证。                                                                                                                                                                                                                                                                                                                                   |
   
更多参数说明请参见DIS服务官方文档[配置DIS Logstash Plugin](https://support.huaweicloud.com/usermanual-dis/dis_01_0099.html)和Logstash官方文档[Elasticsearch output plugin](https://www.elastic.co/guide/en/logstash/7.10/plugins-outputs-elasticsearch.html)。