向量检索的召回率和查询延迟受探测分区数、重排序因子、TopK剪枝策略以及运行时资源的影响,二者需要在业务中取得平衡。本节介绍Lance向量检索相关的GUC参数,包括查询策略参数(lance_options)、运行行为参数(lance_runtime_options)和运行时缓存参数(lance_cache_options)。您可以根据数据规模和查询性能要求调整这些参数,在提升召回率的同时控制查询延迟。
参数说明
表1 向量检索参数说明 | 参数 | 参数类型 | 说明 |
| lance_options | String | 参数解释:设置Lance向量检索相关参数,包括探测分区数、重排序因子以及分布式TopK剪枝策略。参数格式为逗号分隔的键值对,每个键值对以(key:value)形式表示。 取值范围:键值对字符串,各子项取值范围: 默认值:(nprobes:1024), (refine_factor:0), (large_topk_threshold:0), (global_topk_budget:3.0)。 示例: set lance_options='(nprobes:10), (refine_factor:0), (large_topk_threshold:0), (global_topk_budget:3.0)' |
| lance_runtime_options | String | 参数解释:设置Lance运行行为相关参数,包括CPU线程数、IO线程数和内存池大小。参数格式为逗号分隔的键值对,每个键值对以(key:value)形式表示。 lance_runtime_options为Postmaster级别参数,需要在Aura服务端启动前配置,不支持运行时通过SET命令修改该参数。 取值范围:键值对字符串,各子项取值范围: - cpu_threads:指定CPU密集型任务(如解压缩、编码、向量计算等)的线程池大小。取值为整型[1~INT_MAX],无默认值。
- io_threads:控制I/O操作的并行度,用于对象存储的并发读写操作数量。取值为整型[1~INT_MAX],无默认值。
- mem_pool_size:设置DataFusion执行引擎的内存池大小(字节),用于查询执行时的内存管理,特别是支持溢写到磁盘的操作(如排序、聚合)。取值为整型[1~INT64_MAX],无默认值。
默认值:无。 示例: set lance_runtime_options='(cpu_threads:8), (io_threads:64), (mem_pool_size:1048576)' |
| lance_cache_options | String | 参数解释:设置Lance运行时缓存相关的参数,包括是否开启内部线程池、线程池大小、线程池队列大小、线程池读写超时时间等参数,其中参数格式为逗号分隔的键值对,每个键值对以(key:value)的形式表示。该参数仅在enable_remote_cache=on时才会生效。 取值范围:键值对字符串,子项包括: - cache_pool_support:指定Lance运行时开启缓存线程池。取值
为整型0或1,默认值1。 - cache_pool_size:控制缓存线程池的大小。取值为整型[1~INT_MAX],默认值16。
- cache_pool_queue_depth:控制缓存线程池中每个线程的队列大小。取值为整型[1~INT_MAX],默认值4。
- cache_pool_timeout:控制缓存线程池中每个线程的读写超时时间,超时后会直接发起OBS的IO请求。取值为整型[1~INT_MAX],默认值30。
默认值:(cache_pool_support:1), (cache_pool_size:16), (cache_pool_queue_depth:4), (cache_pool_timeout:30)。 示例: set lance_cache_options = "(cache_pool_size:32), (cache_pool_queue_depth:8)"; |