，默认为中文。 criterion String 否 支持的分词规范。 中文分词标准目前支持PKU（北大分词标准）、CTB（宾州中文树库标准），默认为PKU。 英文分词标准默认为Penn TreeBank（宾州树库标准），不需要传入该参数。 响应消息 响应参数如表3所示。 表3 响应参数

查看更多 →

注意事项 分词配置只会对配置时间点以后生成的日志生效，之前的日志以之前配置的分词符进行处理。 配置分词 在左侧导航栏中选择“配置管理 > 日志配置”，选择“分词配置”页签。 配置分词。 AOM提供了如下两种配置分词的方法。若同时使用了这两种配置方法，则分词符取并集。 自定义分词符：单击，在文本框中输入分词符，单击。

查看更多 →

分词模型 模型名称 res-word-segmentation 功能1 -- 关键词提取（未排序） 将待处理的文本进行分词处理并筛选保留关键词。 URL POST 服务部署成功后返回的预测地址。 请求消息 请求参数请参见表1 请求参数说明。 表1 请求参数说明 参数名称 是否必选

查看更多 →

分词器 全文检索功能还可以做更多事情：忽略索引某个词（停用词），处理同义词和使用复杂解析，例如，不仅基于空格的解析。这些功能通过文本搜索分词器控制。 GaussDB (DWS)支持多语言的预定义的分词器，并且可以创建分词器（gsql的\dF命令显示了所有可用分词器）。 在安装期间选择

查看更多 →

-8。 lang String 否 支持的文本语言类型，目前支持中文（zh）和英文（en），默认为中文。 granularity Integer 否 分词粒度，1为最细粒度，2为最粗粒度，其他情况默认返回全部粒度分词树结果。 响应消息 响应参数如表3所示。 表3 响应参数 参数名

查看更多 →

分词器 全文检索功能还可以做更多事情：忽略索引某个词（停用词），处理同义词和使用复杂解析，例如，不仅基于空格的解析。这些功能通过文本搜索分词器控制。GaussDB(DWS)支持多语言的预定义的分词器，并且可以创建分词器（gsql的\dF命令显示了所有可用分词器）。 在安装期间选择

查看更多 →

分词器 全文检索功能还可以做更多事情：忽略索引某个词（停用词），处理同义词和使用复杂解析，例如，不仅基于空格的解析。这些功能通过文本搜索分词器控制。GaussDB(DWS)支持多语言的预定义的分词器，并且可以创建分词器（gsql的\dF命令显示了所有可用分词器）。 在安装期间选择

查看更多 →

分词器测试 函数ts_debug允许简单测试文本搜索分词器。 1 2 3 4 5 6 7 8 ts_debug([ config regconfig, ] document text, OUT alias text, OUT description

查看更多 →

分词器测试 函数ts_debug允许简单测试文本搜索分词器。 1 2 3 4 5 6 7 8 ts_debug([ config regconfig, ] document text, OUT alias text, OUT description

查看更多 →

分词器测试 函数ts_debug允许简单测试文本搜索分词器。 1 2 3 4 5 6 7 8 ts_debug([ config regconfig, ] document text, OUT alias text, OUT description

查看更多 →

若调用SDK接口时涉及到部分字段包含中文后报错的问题，如description字段，请在python文件头部添加“# -*- coding: utf-8 -*- ”，具体做法请参考Python使用UTF-8编码。

查看更多 →

在左侧导航栏中选择“配置中心”，选择“分词配置”页签。 配置分词。 LTS提供了如下两种配置分词的方法。若同时使用了这两种配置方法，则分词符取并集。 自定义分词符：单击“编辑”，在文本框中自定义输入需要的分词符。 特殊分词符：单击“编辑 > 添加特殊分词符”，参考ASCII码对照表输入ASCII值。

查看更多 →

PostgreSQL自带的parser插件适用于分词比较简单的语言（如英语），按照标点、空格切分语句即可获得有含义的词语，而中文比较复杂，词语之间没有空格分隔，长度也不固定，分词还和语义有关，因此parser不能用来做中文分词，建议使用zhparser。 zhparser是PostgreSQL的中文分词插件，安装后

查看更多 →

到该日志。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。

查看更多 →

到该日志。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。

查看更多 →

/擎”。 分隔符分词：按照分隔符分词，结合“分词选项”使用。 分词选项 如“分词方法”选择“不分词”或“最全分词”，该参数为“不涉及”，不可选。 如“分词方法”选择“普通分词”或“单字分词”，可选择不涉及、全拼、简拼和全拼+简拼。 如“分词方法”选择“英文普通分词”，可选择不涉及、词干化和词形还原。

查看更多 →

中文日志无法正常上报 背景信息 V5设备本身是GBK编码，外发syslog格式也是GBK编码，如果存在中文日志上报的场景，如安全策略名称为中文，会导致云平台上解析失败，所以需要将设备的编码格式切换成UTF-8。 操作步骤 如果是V5防火墙或天关，需要执行以下命令，切换外发日志的字符编码为UTF-8。

查看更多 →

中文 域名 是否支持备案 华为云备案平台支持中文域名备案。 父主题： 备案域名FAQ

查看更多 →

终端输出中文乱码问题 针对终端输出乱码问题，解决方式有如下两种： 一种方法是在右上角“运行/调试配置”入口中修改对应的运行/调试配置，在启动参数中的VM option参数加入相关值: -Dfile.encoding=gbk； 但是这种方法不能解决所有的乱码问题，考虑到实际项目中可

查看更多 →

Zhparser是基于词典的语义分词方法，底层调用SCWS(https://github.com/hightman/scws)分词算法，适用于有语义的中文分词场景。SCWS是一套基于词频词典的机械式中文分词引擎，可以将一整段的中文文本正确地切分成词。支持GBK、UTF-8两种中文编码格式。内置26种token类型如表3所示：

查看更多 →

Zhparser是基于词典的语义分词方法，底层调用SCWS(https://github.com/hightman/scws)分词算法，适用于有语义的中文分词场景。SCWS是一套基于词频词典的机械式中文分词引擎，可以将一整段的中文文本正确地切分成词。支持GBK、UTF-8两种中文编码格式。内置26种token类型如表3所示：

查看更多 →