词典测试 函数ts_lexize用于进行词典测试。 ts_lexize(dict regdictionary, token text) returns text[]如果输入的token可以被词典识别，那么ts_lexize返回词素的数组；如果token可以被词典识别但它是一个停用

查看更多 →

Thesaurus词典 Thesaurus词典，也叫做分类词典（缩写为TZ），是一组定义了词以及词组间关系的集合，包括广义词（BT）、狭义词（NT）、首选词、非首选词、相关词等。根据词典文件中的定义，TZ词典用一个指定的短语替换对应匹配的所有短语，并且可选择保留原始短语进行索引。

查看更多 →

一个lexeme。一个新token会代替输入token被传递给后继词典（当前词典可被称为过滤词典）。 如果token在词典中已知，但它是一个停用词，返回空数组。 如果词典不能识别输入的token，返回NULL。 GaussDB 提供了多种语言的预定义字典，同时提供了五种预定义的词典模板，分别是Simple，Syno

查看更多 →

Thesaurus词典 Thesaurus词典，也叫做分类词典（缩写为TZ），是一组定义了词以及词组间关系的集合，包括广义词（BT）、狭义词（NT）、首选词、非首选词、相关词等。根据词典文件中的定义，TZ词典用一个指定的短语替换对应匹配的所有短语，并且可选择保留原始短语进行索引。

查看更多 →

GaussDB不提供任何预定义的Ispell类型词典或词典文件。dict文件和affix文件支持多种开源词典格式，包括Ispell、MySpell和Hunspell等。 操作步骤 获取词典定义文件和词缀文件。 用户可以使用开源词典（OpenOffice上可以获取），直接获取的开源词典后缀名可能为.aff和.dic，此时需要将扩展名改为

查看更多 →

，传递给后继词典继续处理。 注意事项 大多数词典的功能依赖于词典定义文件，词典定义文件名仅支持小写字母、数字、下划线组合。 临时模式pg_temp下不允许创建词典。 词典定义文件的字符集编码必须为UTF-8格式。实际应用时，如果与数据库的字符编码格式不一致，在读入词典定义文件时会进行编码转换。

查看更多 →

，传递给后继词典继续处理。 注意事项 大多数词典的功能依赖于词典定义文件，词典定义文件名仅支持小写字母、数字、下划线组合。 临时模式pg_temp下不允许创建词典。 词典定义文件的字符集编码必须为UTF-8格式。实际应用时，如果与数据库的字符编码格式不一致，在读入词典定义文件时会进行编码转换。

查看更多 →

界面显示“分词结果”、“短语匹配”、“初筛结果”、“重排序结果”、“闲聊结果”的匹配结果。 图1 问答诊断 表1 问答诊断参数说明 参数名称 参数说明 分词结果 显示用户问的分词结果，即分词后的有效词语。 短语匹配 当用户问的分词结果与知识库中语料的问题或扩展问分词结果一致时，显示该问题的具体信息。

查看更多 →

，传递给后继词典继续处理。 注意事项 大多数词典的功能依赖于词典定义文件，词典定义文件名仅支持小写字母、数字、下划线组合。 临时模式pg_temp下不允许创建词典。 词典定义文件的字符集编码必须为UTF-8格式。实际应用时，如果与数据库的字符编码格式不一致，在读入词典定义文件时会进行编码转换。

查看更多 →

Synonym词典 Synonym词典用于定义、识别token的同义词并转化，不支持词组（词组形式的同义词可用Thesaurus词典定义，详细请参见Thesaurus词典）。 示例 Synonym词典可用于解决语言学相关问题，例如，为避免使单词"Paris"变成"pari"，可在

查看更多 →

Synonym词典 Synonym词典用于定义、识别token的同义词并转化，不支持词组（词组形式的同义词可用Thesaurus词典定义，详细请参见Thesaurus词典）。 示例 Synonym词典可用于解决语言学相关问题，例如，为避免使单词"Paris"变成"pari"，可在

查看更多 →

，传递给后继词典继续处理。 注意事项 大多数词典的功能依赖于词典定义文件，词典定义文件名仅支持小写字母、数字、下划线组合。 临时模式pg_temp下不允许创建词典。 词典定义文件的字符集编码必须为UTF-8格式。实际应用时，如果与数据库的字符编码格式不一致，在读入词典定义文件时会进行编码转换。

查看更多 →

Synonym词典 Synonym词典用于定义、识别token的同义词并转化，不支持词组（词组形式的同义词可用Thesaurus词典定义，详细请参见Thesaurus词典）。 示例 Synonym词典可用于解决语言学相关问题，例如，为避免使单词"Paris"变成"pari"，可在

查看更多 →

Synonym词典 Synonym词典用于定义、识别token的同义词并转化，不支持词组（词组形式的同义词可用Thesaurus词典定义，详细请参见Thesaurus词典）。 示例 Synonym词典可用于解决语言学相关问题，例如，为避免使单词"Paris"变成"pari"，可在

查看更多 →

行自定义配置。 注意事项 分词配置只会对配置时间点以后生成的日志生效，之前的日志按照之前配置的分词符进行处理。 配置分词 在左侧导航栏中选择“配置中心”，选择“分词配置”页签。 配置分词。 LTS提供了如下两种配置分词的方法。若同时使用了这两种配置方法，则分词符取并集。 自定义分

查看更多 →

PostgreSQL自带的parser插件适用于分词比较简单的语言（如英语），按照标点、空格切分语句即可获得有含义的词语，而中文比较复杂，词语之间没有空格分隔，长度也不固定，分词还和语义有关，因此parser不能用来做中文分词，建议使用zhparser。 zhparser是PostgreSQL的中文分词插件，安装后

查看更多 →

url_path | URL path | /stuff/index.html N-gram是一种机械分词方法，适用于无语义中文分词场景。N-gram分词法可以保证分词的完备性，但是为了照顾所有可能，把很多不必要的词也加入到索引中，导致索引项增加。N-gram支持中文编码包括

查看更多 →

punctuation_ignore 分词结果是否忽略所有的标点等特殊符号（不会忽略\r和\n）。 true（默认值）：忽略所有的标点等特殊符号。 false：不忽略所有的标点等特殊符号。 seg_with_duality 是否将闲散文字自动以二字分词法聚合。 true：将闲散文字自动以二字分词法聚合。 f

查看更多 →

punctuation_ignore 分词结果是否忽略所有的标点等特殊符号（不会忽略\r和\n）。 true（默认值）：忽略所有的标点等特殊符号。 false：不忽略所有的标点等特殊符号。 seg_with_duality 是否将闲散文字自动以二字分词法聚合。 true：将闲散文字自动以二字分词法聚合。 f

查看更多 →

url_path | URL path | /stuff/index.html N-gram是一种机械分词方法，适用于无语义中文分词场景。N-gram分词法可以保证分词的完备性，但是为了照顾所有可能，把很多不必要的词也加入到索引中，导致索引项增加。N-gram支持中文编码包括

查看更多 →

能，根据技能需求配置意图、样本集、词典等。 商用 技能工坊 2019年3月 序号 功能名称 功能描述 阶段 相关文档 1 支持问答诊断，语料优化更轻松 当 问答机器人 上线运营期间，用户在问答过程中出现问题时，您可以使用用户问在问题调试页面，查看分词情况、排序情况、闲聊答复等，基于调

查看更多 →