文档首页/ 数据仓库服务 DWS/ SQL语法参考/ SQL语法参考(9.1.1.x)/ 数据类型/ 文本搜索类型

更新时间：2026-10-28 GMT+08:00

文本搜索类型

在海量文本数据中快速检索包含特定关键词的记录，是数据仓库应用中的常见需求。例如，在日志分析场景中，使用tsvector和tsquery可以高效检索包含特定关键词的日志记录；在电商系统中，根据商品描述进行全文搜索以匹配用户查询；在文档管理系统中，对大量文档内容进行关键词检索和相关性排序。传统的关系型数据库使用LIKE或~（正则表达式）进行文本匹配，但在大数据量场景下性能较差，且无法进行语义层面的词干匹配和相关性排序。

DWS提供了tsvector和tsquery两种数据类型用于支持全文检索。tsvector类型表示为文本搜索优化的文档分词格式，tsquery类型表示文本查询条件。两者配合使用，通过@@操作符进行匹配，能够高效地实现全文检索功能。

基本概念

全文检索（Full-Text Search）：一种在文本数据中检索包含特定关键词或语义的记录的技术。与简单的LIKE模式匹配不同，全文检索会对文本进行分词和词干提取，支持语义层面的匹配和相关性排序，适用于大数据量的文本检索场景。
分词器（Parser）：负责将原始文本拆分为多个词条（lexeme）的组件。分词器按空格、标点等分隔符将文本拆分，并识别词条的边界。DWS内置了多种分词器配置（如english、default），可通过to_tsvector('配置名', 文本)指定使用的分词器。
词干（Lexeme）：词条经过词干提取后的规范化形式。例如，英文单词”Rats”的词干为“rat”，“running”的词干为“run”。词干提取使得检索能够匹配同一词的不同形式（如单复数、时态变化），提高检索的召回率。

tsvector

tsvector类型表示一个检索单元，通常是一个数据库表中的一行文本字段或者这些字段的组合。

tsvector类型的值是唯一分词的分类列表，把一句话的词格式化为不同的词条，在进行分词处理的时候tsvector会按照一定的顺序录入，并自动去掉分词中重复的词条。

to_tsvector函数通常用于解析和标准化文档字符串。

基本分词

通过tsvector把一个字符串按照空格进行分词，分词的顺序是按照字母和长短排序的，请看以下例子：

     SELECT 'a fat cat sat on a mat and ate a fat rat'::tsvector;
                      tsvector                      
----------------------------------------------------
 'a' 'and' 'ate' 'cat' 'fat' 'mat' 'on' 'rat' 'sat'
(1 row)
 
 
  

如果词条中包含空格或标点符号，可以用引号包围：

     SELECT $$the lexeme '    ' contains spaces$$::tsvector;
                 tsvector                  
-------------------------------------------
 '    ' 'contains' 'lexeme' 'spaces' 'the'
(1 row)
 
 
  

使用常规的单引号引起来的字符串，字符串中嵌入的单引号(')和反斜杠(\)必须双写进行转义：

     SELECT $$the lexeme 'Joe''s' contains a quote$$::tsvector;
                    tsvector                    
------------------------------------------------
 'Joe''s' 'a' 'contains' 'lexeme' 'quote' 'the'
(1 row)
 
 
  

位置常量

词条位置常量也可以放到词汇中，表示该词条在原文中的位置：

     SELECT 'a:1 fat:2 cat:3 sat:4 on:5 a:6 mat:7 and:8 ate:9 a:10 fat:11 rat:12'::tsvector;
                                   tsvector                                    
-------------------------------------------------------------------------------
 'a':1,6,10 'and':8 'ate':9 'cat':3 'fat':2,11 'mat':7 'on':5 'rat':12 'sat':4
(1 row)
 
 
  

位置常量通常表示文档中源字的位置。位置信息可以用于进行排名。位置常量的范围是1到16383，最大值默认是16383。相同词的重复位会被忽略掉。

权重

拥有位置的词汇可以进一步地被标注一个权重，它可以是A，B，C或D。 D是默认权重，因此输出中不会显示：

     SELECT 'a:1A fat:2B,4C cat:5D'::tsvector;
          tsvector          
----------------------------
 'a':1A 'cat':5 'fat':2B,4C
(1 row)
 
 
  

表1 **权重参数说明**
权重	说明	是否显示	典型用途
A	最高权重	显示（标记为A）	标题、重要关键词
B	中高权重	显示（标记为B）	摘要、小标题
C	中低权重	显示（标记为C）	正文重要段落
D	默认权重	不显示	正文普通内容

权重通常被用来反映文档结构，如：将标题标记成与正文词不同。文本检索排序函数可以为不同的权重标记分配不同的优先级。

规范化处理

tsvector类型标准用法示例如下：

     SELECT 'The Fat Rats'::tsvector;
      tsvector      
--------------------
 'Fat' 'Rats' 'The'
(1 row)
 
 
  

但是对于英文全文检索应用来说，上面的单词会被认为非规范化的，所以需要通过to_tsvector函数对这些单词进行规范化处理：

     SELECT to_tsvector('english', 'The Fat Rats');
   to_tsvector   
-----------------
 'fat':2 'rat':3
(1 row)
 
 
  

to_tsvector('english', ...)使用english分词器配置，将”The Fat Rats”分词并提取词干：停用词”the”被去除，”Fat”转换为小写”fat”，”Rats”提取词干为”rat”，并保留了位置常量2和3。

tsquery

tsquery类型表示一个检索条件，存储用于检索的词汇，并且使用布尔操作符将这些词汇进行组合。

布尔操作符

tsquery支持以下布尔操作符，优先级规则：如果没有圆括号，（NOT）的优先级最高，其次是&（AND），最后是|（OR）。使用圆括号可以改变操作符的分组优先级。

表2 tsquery操作符
操作符	含义	说明	优先级
&	AND（与）	两边的词条需同时匹配。	中
\|	OR（或）	两边的词条至少一个匹配。	低
!	NOT（非）	后面的词条不匹配。	高

     SELECT 'fat & rat'::tsquery;
    tsquery    
---------------
 'fat' & 'rat'
(1 row)

SELECT 'fat & (rat | cat)'::tsquery;
          tsquery          
---------------------------
 'fat' & ( 'rat' | 'cat' )
(1 row)

SELECT 'fat & rat & ! cat'::tsquery;
        tsquery         
------------------------
 'fat' & 'rat' & !'cat'
(1 row)
 
 
  

权重标记

tsquery中的词汇可以用一个或多个权重字母来标记，这些权重字母限制词汇只能与匹配权重的tsvector词汇进行匹配。

     SELECT 'fat:ab & cat'::tsquery;
     tsquery      
------------------
 'fat':AB & 'cat'
(1 row)

--'fat:ab'表示该词条仅在tsvector中对应词条的权重为A或B时才匹配。
 
 
  

前缀匹配

tsquery中的词汇可以用*标记来指定前缀匹配。例如：这个查询可以匹配tsvector中以“super”开始的任意单词。

     SELECT 'super:*'::tsquery;
  tsquery  
-----------
 'super':*
(1 row)
 
 
  

需注意，前缀匹配会首先被文本搜索分词器处理。例如：postgres中提取的词干是postgr，匹配到了postgraduate，也就意味着下面的结果为真：

     SELECT to_tsvector( 'postgraduate' ) @@ to_tsquery( 'postgres:*' ) AS RESULT;
  result  
----------
 t
(1 row)
 
 
  

     SELECT to_tsquery('postgres:*');
 to_tsquery 
------------
 'postgr':*
(1 row)
 
 
  

@@操作符（全文检索匹配）

@@是全文检索匹配操作符，用于判断tsquery查询条件是否匹配tsvector文档分词。

语法：

     tsvector @@ tsquery

返回类型： boolean（true表示匹配成功，false表示不匹配）

表3 **参数说明**
操作数	类型	说明
左操作数	tsvector	文档的分词列表，通常通过to_tsvector生成。
右操作数	tsquery	查询条件，通常通过to_tsquery或plainto_tsquery生成。

匹配规则： 判断tsquery中的查询条件（通过AND/OR/NOT组合）是否能在tsvector中找到满足的词条。如果所有条件均满足，返回true，否则返回false。

     -- 查询文档中是否同时包含"fat"和"rat"
SELECT to_tsvector('english', 'The Fat Rats') @@ to_tsquery('fat & rat') AS result;
-- 预期结果:
--  result
-- --------
--  t
-- (1 row)
-- 查询文档中是否包含"cat"（不包含，返回false）
SELECT to_tsvector('english', 'The Fat Rats') @@ to_tsquery('cat') AS result;
-- 预期结果:
--  result
-- --------
--  f
-- (1 row)
 
 
  

规范化处理

to_tsquery函数会将单词转换为tsquery类型前进行规范化处理。'Fat:ab & Cats'规范化转为tsquery类型结果如下：

     --to_tsquery对输入进行了词干提取和标准化：Fat转换为小写fat，Cats提取词干为cat，权重标记ab转换为大写AB。
SELECT to_tsquery('Fat:ab & Cats');
    to_tsquery    
------------------
 'fat':AB & 'cat'
(1 row)
 
 
  

父主题：数据类型

上一篇：位串类型

下一篇：UUID类型

文本搜索类型

基本概念

tsvector

基本分词

位置常量

权重

规范化处理

tsquery

布尔操作符

权重标记

前缀匹配

@@操作符（全文检索匹配）

规范化处理

相关文档

您对此文档页面的整体评价？