分词模型 模型名称 res-word-segmentation 功能1 -- 关键词提取（未排序） 将待处理的文本进行分词处理并筛选保留关键词。 URL POST 服务部署成功后返回的预测地址。 请求消息 请求参数请参见表1 请求参数说明。 表1 请求参数说明 参数名称 是否必选

查看更多 →

支持的文本语言类型，目前支持中文（zh）和英文（en），默认为中文。 criterion String 否 支持的分词规范。 中文分词标准目前支持PKU（北大分词标准）、CTB（宾州中文树库标准），默认为PKU。 英文分词标准默认为Penn TreeBank（宾州树库标准），不需要传入该参数。 响应消息 响应参数如表3所示。

查看更多 →

多粒度分词 功能介绍 给定一个句子输入，输出不同粒度的所有单词的层次结构。 以“华为技术有限公司的总部”为例，多粒度分词得到的层次结构如下图所示。其中白色圆形节点为字符单元，蓝色圆角矩阵节点为词汇单元。 图1 多粒度分词 本API免费调用，调用限制为2次/秒。 调试 您可以在API

查看更多 →

FULLTEXT全文索引 GaussDB (DWS)不支持FULLTEXT全文索引。DSC工具迁移时会根据GaussDB(DWS)的特性进行相应适配。 内联FULLTEXT全文索引。 输入示例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

查看更多 →

注意事项 分词配置只会对配置时间点以后生成的日志生效，之前的日志以之前配置的分词符进行处理。 配置分词 在左侧导航栏中选择“配置管理 > 日志配置”，选择“分词配置”页签。 配置分词。 AOM提供了如下两种配置分词的方法。若同时使用了这两种配置方法，则分词符取并集。 自定义分词符：单击，在文本框中输入分词符，单击。

查看更多 →

如果remain_other_cols为True，则保留input_table全列；如果为False，则只保留input_table分词列 xxx_words 分词列的分词结果列 分词结果列列名为原分词列列名 + "_words" dict_table是对默认词典的增加，不是只保留dict_table里的词；

查看更多 →

PostgreSQL自带的parser插件适用于分词比较简单的语言（如英语），按照标点、空格切分语句即可获得有含义的词语，而中文比较复杂，词语之间没有空格分隔，长度也不固定，分词还和语义有关，因此parser不能用来做中文分词，建议使用zhparser。 zhparser是PostgreSQL的中文分词插件，安装后

查看更多 →

打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为一个个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精

查看更多 →

打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为一个个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精

查看更多 →

分词器 全文检索功能还可以做更多事情：忽略索引某个词（停用词），处理同义词和使用复杂解析，例如，不仅基于空格的解析。这些功能通过文本搜索分词器控制。GaussDB(DWS)支持多语言的预定义的分词器，并且可以创建分词器（gsql的\dF命令显示了所有可用分词器）。 在安装期间选择

查看更多 →

分词器 全文检索功能还可以做更多事情：忽略索引某个词（停用词），处理同义词和使用复杂解析，例如：不仅基于空格的解析。这些功能通过文本搜索分词器控制。GaussDB支持多语言的预定义的分词器，并且可以创建分词器（gsql的\dF命令显示了所有可用分词器）。 在安装期间选择一个合适的分词器，并且在postgresql

查看更多 →

分词器 全文检索功能还可以做更多事情：忽略索引某个词（停用词），处理同义词和使用复杂解析，例如，不仅基于空格的解析。这些功能通过文本搜索分词器控制。GaussDB(DWS)支持多语言的预定义的分词器，并且可以创建分词器（gsql的\dF命令显示了所有可用分词器）。 在安装期间选择

查看更多 →

分词器 全文检索功能还可以做更多事情：忽略索引某个词（停用词），处理同义词和使用复杂解析，例如：不仅基于空格的解析。这些功能通过文本搜索分词器控制。GaussDB支持多语言的预定义的分词器，并且可以创建分词器（gsql的\dF命令显示了所有可用分词器）。 在安装期间选择一个合适的分词器，并且在postgresql

查看更多 →

分词器测试 函数ts_debug允许简单测试文本搜索分词器。 1 2 3 4 5 6 7 8 ts_debug([ config regconfig, ] document text, OUT alias text, OUT description

查看更多 →

分词器测试 函数ts_debug允许简单测试文本搜索分词器。 1 2 3 4 5 6 7 8 ts_debug([ config regconfig, ] document text, OUT alias text, OUT description

查看更多 →

分词器测试 函数ts_debug允许简单测试文本搜索分词器。 1 2 3 4 5 6 7 8 ts_debug([ config regconfig, ] document text, OUT alias text, OUT description

查看更多 →

分词器测试 函数ts_debug允许简单测试文本搜索分词器。 1 2 3 4 5 6 7 8 ts_debug([ config regconfig, ] document text, OUT alias text, OUT description

查看更多 →

查询日志时报错提示：未开启全文索引，不支持查询content字段和全文查询 解决方法：请您在索引配置中开启全文索引，重新执行查询语句。详细请参考配置索引。 查询日志时报错提示：星号（*）或问号（?）不支持使用在词的开头 解决方法：请您修改查询语句或合理的设置分词符，避免此类查询。 查

查看更多 →

日志索引流量，详细说明如下： 原始日志数据默认会构建全文索引，按照日志（未压缩）被构建索引所产生的索引数据量计算索引流量。 在写入数据时一次性收取索引流量费用，即全文索引流量费用。 对同时构建了全文索引和字段索引的字段，只计算一次索引流量费用，即全文索引流量费用。 当关闭全文索引，仅开启字段索引，则lon

查看更多 →

注意事项 分词配置只会对配置时间点以后生成的日志生效，之前的日志按照之前配置的分词符进行处理。 配置分词 在左侧导航栏中选择“配置中心”，选择“分词配置”页签。 配置分词。 LTS提供了如下两种配置分词的方法。若同时使用了这两种配置方法，则分词符取并集。 自定义分词符：单击“编辑”，在文本框中输入分词符。

查看更多 →

的索引配置相关。在用户开启全文索引或者没有进行索引配置的场景下，索引流量等于原始日志流量，如果用户只配置了字段索引，则索引流量只统计开启了字段索引的字段，不再和原始日志流量保持一致。 日志索引流量：原始日志数据默认都会建立全文索引，创建索引（对日志分词处理）后，才能搜索日志，在写入时一次性收取流量费用。

查看更多 →