文档首页/ MapReduce服务 MRS/ 组件操作指南(安卡拉区域)/ 使用Elasticsearch/ Elasticsearch常见问题/ 写入数据达到一定量时,指定文档ID导致读IO很高
更新时间:2024-11-29 GMT+08:00

写入数据达到一定量时,指定文档ID导致读IO很高

问题背景与现象

在写入数据达到一定量时,指定文档ID导致读IO很高。

原因分析

在EsNode节点上执行iotop命令,发现大量Elasticsearch线程的磁盘读速率高。通过线程堆栈信息发现,在索引bulk命令的写入流程中,由于写入请求指定文档ID时需要先做一次全量查询,确认该索引是否存在指定的文档ID,这个查询过程占用大量的磁盘读IO。

解决方法

业务侧进行调整,写入数据时不指定文档ID,而是将其作为一个索引字段。