ES-Hadoop导数据时报"Could not write all entries"异常

问题分析

Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列，超过的请求会被rejected。

解决方案

1. 建议根据实际情况调整客户端的并发写入请求数（调整到一个合适的阈值），另外被rejected的http请求ES-Hadoop是有重试机制的，可修改以下参数:
   • “es.batch.write.retry.count”：默认重试3次。
   • “es.batch.write.retry.wait”：每次重试等待时间10s。
2. 如果对查询的实时性级别要求不高的话，可以调整下分片刷新的时间（默认是每秒刷新一次），提高写入速度。

   PUT /my_logs
   {
   "settings": {
   "refresh_interval": "30s"
   }
   }