更新时间:2024-11-29 GMT+08:00
写入数据达到一定量时,指定文档ID导致读IO很高
问题背景与现象
在写入数据达到一定量时,指定文档ID导致读IO很高。
原因分析
在EsNode节点上执行iotop命令,发现大量Elasticsearch线程的磁盘读速率高。通过线程堆栈信息发现,在索引bulk命令的写入流程中,由于写入请求指定文档ID时需要先做一次全量查询,确认该索引是否存在指定的文档ID,这个查询过程占用大量的磁盘读IO。
解决方法
业务侧进行调整,写入数据时不指定文档ID,而是将其作为一个索引字段。
父主题: Elasticsearch常见问题