更新时间:2024-10-12 GMT+08:00

Elasticsearch集群搜索增强特性介绍

云搜索服务的Elasticsearch集群在开源Elasticsearch基础上增加了许多增强特性,增强特性的功能和支持的集群版本请参见表1

表1 Elasticsearch集群搜索增强特性列表

增强特性

特性描述

支持的集群版本

相关文档

向量检索

向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。

Elasticsearch 7.6.2、Elasticsearch 7.10.2

配置Elasticsearch集群向量检索

存算分离

存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。

存算分离和切换冷热数据比,更适用于对搜索性能要求不高的场景,冷数据存储在OBS中,存储成本更低一些。

Elasticsearch 7.6.2、Elasticsearch 7.10.2

配置Elasticsearch集群存算分离

流量控制2.0

流量控制2.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制,基于节点内存的客户端写入流量反压控制,一键断流能力。同时也提供节点访问IP统计和URL的统计能力。开启客户端写入流量反压控制功能,会在节点堆内存过大时阻止大请求涌入节点占用内存,避免节点崩溃,减少节点不可用的风险。

说明:

2023年02月及之后创建的Elasticsearch 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制2.0版本,之前创建Elasticsearch 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制1.0版本。

Elasticsearch 7.6.2、Elasticsearch 7.10.2

配置Elasticsearch集群读写流量控制策略2.0

流量控制1.0

流量控制1.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTP并发连接数限制、HTTP最大连接数限制、基于请求Path的堆内存最大使用量流控能力、基于CPU最大占用率流控能力,一键断流能力,同时也提供节点访问IP统计和URL的采样统计能力。开启流控功能会使请求在入口处直接阻塞,可以缓解节点高并发场景下的集群压力,降低P99时延,减少节点不可用的风险。

说明:

2023年02月及之后创建的Elasticsearch 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制2.0版本,之前创建Elasticsearch 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制1.0版本。

Elasticsearch 7.6.2、Elasticsearch 7.10.2

配置Elasticsearch集群读写流量控制策略1.0

大查询隔离

大查询隔离支持对查询请求进行独立管理,将高内存、长耗时的查询请求进行隔离,保证节点内存安全。在节点堆内存使用率过高时,触发中断控制程序,根据选择的中断策略将其中一条大查询请求进行中断,取消其正在运行的查询任务。大查询隔离同时支持全局查询超时配置,用户可实时配置所有查询请求的超时时间,中断超时查询请求。

Elasticsearch 7.6.2、Elasticsearch 7.10.2

配置Elasticsearch集群大查询隔离

聚合增强

聚合增强在数据聚簇的情况下,利用向量化技术,批量处理数据,从而提升聚合性能,优化可观测性业务的聚合分析能力。

Elasticsearch 7.10.2

配置Elasticsearch集群聚合增强

读写分离

读写分离支持将写入主集群(Leader)的数据自动同步到从集群(Follower),实现主集群承担写入任务,从集群承担查询任务。读写分离可以将读写压力分开,提高查询的性能。当主集群无法提供服务时,可以通过主从切换使用从集群提供写入和查询服务,保证业务可以正常进行。

Elasticsearch 7.6.2、Elasticsearch 7.10.2

配置Elasticsearch集群读写分离

切换冷热数据

通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。

切换冷热数据和存算分离比,更适用于对搜索性能要求高的场景,冷数据存储在集群本地的冷数据节点中,存储的数据量大小依赖冷数据节点数和磁盘容量,存储成本也会比OBS高一些。

只要集群有冷数据节点就支持。

切换Elasticsearch集群冷热数据

索引回收站

索引回收站支持将删除的索引存放到回收站中,且支持从回收站中还原索引,防止误操作导致数据被删除,进而提升集群的数据可靠性。

Elasticsearch 7.10.2

配置Elasticsearch集群索引回收站