中文日志无法正常上报 背景信息 V5设备本身是GBK编码，外发syslog格式也是GBK编码，如果存在中文日志上报的场景，如安全策略名称为中文，会导致云平台上解析失败，所以需要将设备的编码格式切换成UTF-8。 操作步骤 如果是V5防火墙或天关，需要执行以下命令，切换外发日志的字符编码为UTF-8。

查看更多 →

Zhparser是基于词典的语义分词方法，底层调用SCWS(https://github.com/hightman/scws)分词算法，适用于有语义的中文分词场景。SCWS是一套基于词频词典的机械式中文分词引擎，可以将一整段的中文文本正确地切分成词。支持GBK、UTF-8两种中文编码格式。内置26种token类型如表3所示：

查看更多 →

Zhparser是基于词典的语义分词方法，底层调用SCWS(https://github.com/hightman/scws)分词算法，适用于有语义的中文分词场景。SCWS是一套基于词频词典的机械式中文分词引擎，可以将一整段的中文文本正确地切分成词。支持GBK、UTF-8两种中文编码格式。内置26种token类型如表3所示：

查看更多 →

Zhparser是基于词典的语义分词方法，底层调用SCWS(https://github.com/hightman/scws)分词算法，适用于有语义的中文分词场景。SCWS是一套基于词频词典的机械式中文分词引擎，可以将一整段的中文文本正确地切分成词。支持GBK、UTF-8两种中文编码格式。内置26种token类型如表3所示：

查看更多 →

支持中文字符 输入：中文（ 1 CREATE TABLE test11（a　int,b　int)/*CREATE TABLE test11(a　int,b　int)*/; 输出 1 CREATE TABLE test11 (a INT,b INT)/*CREATE TABLE test11(a　int

查看更多 →

终端输出中文乱码问题 针对终端输出乱码问题，解决方式有如下两种： 一种方法是在右上角“运行/调试配置”入口中修改对应的运行/调试配置，在启动参数中的VM option参数加入相关值: -Dfile.encoding=gbk； 但是这种方法不能解决所有的乱码问题，考虑到实际项目中可

查看更多 →

/stuff/index.html N-gram是一种机械分词方法，适用于无语义中文分词场景。N-gram分词法可以保证分词的完备性，但是为了照顾所有可能，把很多不必要的词也加入到索引中，导致索引项增加。N-gram支持中文编码包括GBK、UTF-8。内置6种token类型，如表2

查看更多 →

ble、float、date和json。 包含中文 查询时是否区分中英文。当字段类型选择“text”时，需要设置该参数。 开启开关后，如果日志中包含中文，则按照中文语法拆分中文内容，按照分词符配置拆分英文内容。 关闭开关后，按照分词符配置拆分所有内容。 示例：日志内容为：user:WAF日志用户张三。

查看更多 →

/擎”。 分隔符分词：按照分隔符分词，结合“分词选项”使用。 分词选项 如“分词方法”选择“不分词”或“最全分词”，该参数为“不涉及”，不可选。 如“分词方法”选择“普通分词”或“单字分词”，可选择不涉及、全拼、简拼和全拼+简拼。 如“分词方法”选择“英文普通分词”，可选择不涉及、词干化和词形还原。

查看更多 →

/stuff/index.html N-gram是一种机械分词方法，适用于无语义中文分词场景。N-gram分词法可以保证分词的完备性，但是为了照顾所有可能，把很多不必要的词也加入到索引中，导致索引项增加。N-gram支持中文编码包括GBK、UTF-8。内置6种token类型，如表2所示。

查看更多 →

表3 参数信息 索引名称 学生姓名 性别 学校 索引类型 选择“文本”。 选择“文本”。 选择“文本”。 分词方法 选择“普通分词”。 选择“不分词”。 选择“不分词”。 分词选项 选择“不涉及”。 选择“不涉及”。 选择“不涉及”。 作为过滤条件 选择“N”。 选择“Y”。 选择“Y”。

查看更多 →

文本相似度（高级版） 中文（zh） 句向量 中文（zh） 实体链接 中文（zh） 关键词抽取 中文（zh） 事件抽取 中文（zh） 成分句法分析 中文（zh） 语言生成 接口 文本摘要（基础版） 中文（zh）、英文（en） 文本摘要（领域版） 中文（zh） 诗歌生成 中文（zh） 语言理解 接口

查看更多 →

使用搜索语法前，请您在索引配置处设置对应分词符，如无特殊需要，可直接使用默认的分词符, '";=()[]{}@&<>/:\\?\n\t\r。 搜索语法不支持对分词符进行搜索。 搜索语句不支持区分分词符，例如搜索语句var/log，其中/为分词符，搜索语句等同于var log，搜索的

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

云搜索服务的词库用于对文本进行分词，使得一些特殊词语在分词的时候能够被识别出来，便于根据关键词搜索文本数据。例如，根据公司名称来查询，如“华为”；或者根据网络流行词来查询，如“喜大普奔”。也支持基于同义词词库，根据同义词搜索文本数据。 CSS服务使用的分词器包括IK分词器和同义词分词器。IK分词器配备主

查看更多 →

云搜索 服务的词库用于对文本进行分词，使得一些特殊词语在分词的时候能够被识别出来，便于根据关键词搜索文本数据。例如，根据公司名称来查询，如“华为”；或者根据网络流行词来查询，如“喜大普奔”。也支持基于同义词词库，根据同义词搜索文本数据。 CSS 服务使用的分词器包括IK分词器和同义词分词器。IK分词器配备主

查看更多 →

原因分析 删除路径中的冒号是中文字符。 处理方法 核查删除路径是否输入正确，Windows路径中，冒号修改为英文状态（不能使用中文冒号）。 父主题： 删除文件

查看更多 →

短语搜索：在关键词搜索语法的基础上实现，短语搜索能够区分关键词的顺序，用于精准匹配目标短语，搜索结果更加精确。短语搜索适用于英文短语、中文短语的搜索，不支持模糊搜索。 关键词搜索：关键词搜索是基于分词实现，通过分词符先将搜索内容拆分为多个关键词，然后匹配日志。关键词搜索不会区分多个关键词在日志中出现的顺序，因此只

查看更多 →

若调用SDK接口时涉及到部分字段包含中文后报错的问题，如description字段，请在python文件头部添加“# -*- coding: utf-8 -*- ”，具体做法请参考Python使用UTF-8编码。

查看更多 →

为何上报中文数据，平台会乱码呈现？ 问题描述 使用MQTT.fx设备模拟器进行数据上报时，在json字符串中携带中文字符，如下图： 上报至IoTDA平台后，会出现乱码情况，如下图： 解决办法： 与平台交互时，不使用中文字符； 请将上报数据中的中文字符进行Unicode编码处理；

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →