更新时间:2024-09-05 GMT+08:00
分享

Synonym词典

Synonym词典用于定义、识别token的同义词并转化,不支持词组(词组形式的同义词可用Thesaurus词典定义,详细请参见Thesaurus词典)。

示例

  • Synonym词典可用于解决语言学相关问题,例如,为避免使单词"Paris"变成"pari",可在Synonym词典文件中定义一行"Paris paris",并将该词典放置在预定义的english_stem词典之前。
    1
    SELECT * FROM ts_debug('english', 'Paris');
    

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    CREATE TEXT SEARCH DICTIONARY my_synonym (
        TEMPLATE = synonym,
        SYNONYMS = my_synonyms,
        FILEPATH =   'obs://bucket01/obs.example.com accesskey=xxxxx secretkey=xxxxx region=cn-north-1'
    );
    
    ALTER TEXT SEARCH CONFIGURATION english
        ALTER MAPPING FOR asciiword
        WITH my_synonym, english_stem;
    
    SELECT * FROM ts_debug('english', 'Paris');
    

    1
    SELECT * FROM ts_debug('english', 'paris');
    

    1
    ALTER TEXT SEARCH DICTIONARY my_synonym ( CASESENSITIVE=true);
    

    1
    SELECT * FROM ts_debug('english', 'paris');
    

    其中,同义词词典文件全名为my_synonyms.syn,所在目录为 'obs://bucket01/obs.example.com accesskey=xxxxx secretkey=xxxxx region=cn-north-1'。关于创建词典的语法和更多参数,请参见CREATE TEXT SEARCH DICTIONARY

  • 星号(*)可用于词典文件中的同义词结尾,表示该同义词是一个前缀。在to_tsvector()中该星号将被忽略,但在to_tsquery()中会匹配该前缀并对应输出结果(参照处理查询一节)。

    假设词典文件synonym_sample.syn内容如下:

    1
    2
    3
    4
    5
    postgres        pgsql
    postgresql      pgsql 
    postgre pgsql 
    gogle   googl 
    indices index*
    

    创建并使用词典:

    1
    2
    3
    4
    5
    6
    CREATE TEXT SEARCH DICTIONARY syn (
        TEMPLATE = synonym,
        SYNONYMS = synonym_sample
    );
    
    SELECT ts_lexize('syn','indices');
    

    1
    2
    3
    4
    5
    CREATE TEXT SEARCH CONFIGURATION tst (copy=simple);
    
    ALTER TEXT SEARCH CONFIGURATION tst ALTER MAPPING FOR asciiword WITH syn;
    
    SELECT to_tsvector('tst','indices');
    

    1
    SELECT to_tsquery('tst','indices');
    

    1
    SELECT 'indexes are very useful'::tsvector;
    

    1
    SELECT 'indexes are very useful'::tsvector @@ to_tsquery('tst','indices');
    

相关文档