使用开源Elasticsearch API导入数据到Elasticsearch

在Kibana上使用开源Elasticsearch API导入数据

在ECS服务器上使用开源Elasticsearch API导入数据

在ECS服务器上支持通过Curl命令使用开源Elasticsearch API导入JSON数据文件。

本案例以非安全模式的集群为例介绍Curl命令导入数据，如果是安全模式的集群访问集群的命令请参见通过Curl命令行接入Elasticsearch集群。

1. 登录云搜索服务管理控制台。
2. 在左侧导航栏中，选择“集群管理 > Elasticsearch”，进入集群管理列表页面。
3. 在集群管理列表页面，选择待导入数据的集群，在“内网访问地址”列获取并记录集群的内网IP地址<host>和端口<port>，一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。

   当集群只有一个节点时，此处仅显示1个节点的IP地址和端口号，例如“10.62.179.32:9200”；当集群有多个节点时，此处显示所有节点的IP地址和端口号，例如“10.62.179.32:9200,10.62.179.33:9200”。

4. 登录即将接入集群的弹性云服务器ECS。

   弹性云服务器的使用指导请参见快速购买和使用Linux ECS。

5. 将JSON数据文件上传至ECS。

   例如，将如下数据保存为json格式的文件，上传到ECS。

   Elasticsearch版本<7.x的数据

   {"index": {"_index":"my_store","_type":"products"}}
   {"productName": "2019秋装新款文艺衬衫女装","size": "M"}
   {"index": {"_index":"my_store","_type":"products"}}
   {"productName": "2019秋装新款文艺衬衫女装","size": "L"}

   Elasticsearch版本≥7.x的数据

   {"index": {"_index":"my_store"}}
   {"productName": "2019秋装新款文艺衬衫女装","size": "M"}
   {"index": {"_index":"my_store"}}
   {"productName": "2019秋装新款文艺衬衫女装","size": "L"}

6. 在ECS中存放JSON数据文件的路径下，执行如下命令将JSON数据文件导入到Elasticsearch集群。

   curl -X PUT "http://{Private network address and port number of the node} /_bulk" -H 'Content-Type: application/json' --data-binary @test.json

   其中，{Private network address and port number of the node}需替换为集群中节点的内网访问地址和端口号。当该节点出现故障时，将导致命令执行失败，如果集群包含多个节点，可以将{Private network address and port number of the node}替换为集群中另一节点的内网访问地址和端口号，如果集群只包含一个节点，则需要将该节点修复之后再次执行命令进行导入数据。“test.json”为导入数据的json文件。

   

   其中，-X参数的参数值为命令，如“-X PUT”，-H参数的参数值为消息头，如“-H 'Content-Type: application/json' --data-binary @test.json”。添加的-k参数时，请勿将-k参数放置在参数与参数值之间。

   示例：将“test.json”数据文件中的数据导入至Elasticsearch集群，此集群未进行通信加密，其中一个节点内网访问地址为“192.168.0.90”，端口号为“9200”。

   1. 执行如下命令，创建“my_store”索引。
      Elasticsearch版本<7.x的命令

      curl -X PUT http://192.168.0.90:9200/my_store -H 'Content-Type: application/json' -d '
       { 
         "settings": { 
           "number_of_shards": 1 
         }, 
         "mappings": { 
           "products": { 
             "properties": { 
               "productName": { 
                 "type": "text" 
                 }, 
               "size": { 
                 "type": "keyword" 
               } 
             } 
           } 
         } 
       }'

      Elasticsearch版本≥7.x的命令

      curl -X PUT http://192.168.0.90:9200/my_store -H 'Content-Type: application/json' -d '
      {
          "settings": {
              "number_of_shards": 1
          },
          "mappings": {
              "properties": {
                  "productName": {
                      "type": "text"
                  },
                  "size": {
                      "type": "keyword"
                  }
              }
          }
      }'

   2. 执行如下命令，导入“test.json”文件中的数据。

      curl -X PUT "http://192.168.0.90:9200/_bulk" -H 'Content-Type: application/json' --data-binary @test.json

      本案例回显如下信息，表示数据导入成功。

      {"took":204,"errors":false,"items":[{"index":{"_index":"my_store","_type":"_doc","_id":"DJQkBIwBbJvUd2769Wi-","_version":1,"result":"created","_shards":{"total":2,"successful":1,"failed":0},"_seq_no":0,"_primary_term":1,"status":201}},{"index":{"_index":"my_store","_type":"_doc","_id":"DZQkBIwBbJvUd2769Wi_","_version":1,"result":"created","_shards":{"total":2,"successful":1,"failed":0},"_seq_no":1,"_primary_term":1,"status":201}}]}