从DIS导入数据到Elasticsearch/OpenSearch的配置文件样例

本文以源端是数据接入服务DIS、目的端是CSS服务的Elasticsearch/OpenSearch集群为例，介绍使用CSS服务的Logstash进行集群迁移的配置文件样例。

# logstash-input-dis
input {
    dis {
        # DIS服务中创建的通道名称
        streams => ["YOUR_DIS_STREAM_NAME"]
        # DIS服务所属Region的终端节点
        endpoint => "https://dis.example.com"
        # 用户的身份凭证AK/SK
        ak => "YOUR_ACCESS_KEY_ID"
        sk => "YOUR_SECRET_KEY_ID"
        # DIS服务所属Region
        region => "YOUR_Region"
        # 项目ID
        project_id => "YOUR_PROJECT_ID"
        # DIS服务的App名称
        group_id => "YOUR_APP_ID"
        # 客户端ID
        client_id => "YOUR_CLIENT_ID"
        # 指定数据从通道中开始消费的位置
        auto_offset_reset => "earliest"
    }
}

filter {
    # 移除一些Logstash事件添加的元数据字段
    mutate {
        remove_field => ["@timestamp", "@version"]
    }
}

# logstash-output-elasticsearch
output {
    elasticsearch {
        # 目的端集群的节点访问地址，无需添加协议
        hosts => ["xxx.xxx.xxx.xxx:9200", "xxx.xxx.xxx.xxx:9200"]
        # 事件写入的索引名称
        index => "xxx"
        # 安全集群必配 (非安全集群请删除以下配置)
        # user => "xxx"           # 访问集群的用户名
        # password => "xxx"       # 用户名对应的密码
        # 目的端集群启用SSL时，则需额外配置以下信息
        # ssl => true
        # cacert => "/opt/logstash/extend/certs"       # 用于认证目的端集群的CA证书文件路径
        # ssl_certificate_verification => false        # 目的端集群是否启用安全证书认证
    }
}

更多参数说明请参见DIS服务官方文档配置DIS Logstash Plugin和Logstash官方文档Elasticsearch output plugin。