索引配置

日志示例

以下是一条典型日志，content字段值是日志原文，使用分隔符逗号将原始日志解析成3个字段level、status、message；

示例日志中的hostName、hostIP、pathFile是常见的内置保留字段，详细内置字段请参考内置保留字段。

{ 
"hostName":"epstest-xx518",
"hostIP":"192.168.0.31",
"pathFile":"stdout.log",
"content":"error,400,I Know XX",
"level":"error",
"status":400,
"message":"I Know XX"
}

索引类型

云日志服务的索引类型如下：

注意事项

• 全文索引属性和字段索引属性必须至少启用一种。
• 创建索引会产生索引流量和索引存储空间，费用说明请参见价格计算器。
• 索引配置（新增、编辑、删除字段，修改配置项等操作）只对新写入的日志生效，历史日志不会生效。当前不支持对历史日志重建索引。
• 关闭索引后，历史索引的存储空间将在当前日志流的数据保存时间到期后，自动被清除。
• 日志服务默认已为部分内置保留字段创建字段索引，请参见内置保留字段。
• 不同的索引配置，会产生不同的查询和分析结果，请根据您的需求，合理创建索引。全文索引和字段索引互不影响。
• 索引配置修改后，对新写入的日志数据生效，历史日志数据不会生效。
• 在字段索引功能上线前，SQL分析支持的字段来自于云端结构化解析；在字段索引功能上线后，只要用户配置了字段索引，SQL分析支持的字段将来自于字段索引，因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响，请谨慎操作！
• 字段索引配置为JSON数据类型时，在原始日志页面不支持对JSON子字段使用快速分析、跳转图表，不支持可视化；在搜索分析页面下支持JSON子字段使用快速分析和SQL可视化功能。
• 字段索引配置为JSON数据类型时，对JSON父字段查询时支持对命中结果高亮，对JSON子字段查询时不支持对命中结果高亮。

索引流量

创建索引后，会产生索引流量，索引流量的详细计算规则请参考价格计算器。

配置全文索引

1. 登录云服务日志控制台，单击“日志管理”。
2. 在日志组列表中，单击日志组名称左侧的，选择日志流，进入日志流管理界面。
3. 在日志流详情页面，单击右上角，进入索引配置页面。
4. 在索引配置页面中，默认开启“全文索引”按钮。
   

   • 在索引配置页面选择自动配置时，默认获取最近15分钟的原始日志和内置字段的交集，LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。
   • 若15分钟内没有原始日志，则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。
   • ECS接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。
   • CCE接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。

5. 请参考表2配置参数信息。

   表2 自定义全文索引配置参数

   参数	说明
   全文索引	打开全文索引开关，表示创建全文索引。
   大小写敏感	查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志含有Know，那么您只能使用Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志含有Know，那么您使用关键字KNOW和know都能查到该日志。
   包含中文	查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为一个个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志内容为： error,400,I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为error、400、I、Know、今天是星期一，您可以通过error或今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一，您通过error或今天等词都可以查找到该日志。
   分词符	根据指定分词符，将日志内容拆分成多个词。日志服务的默认分词符为, '";=()[]{}@&<>/:\n\t\r。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志内容为： error,400,I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词error,400,I Know 今天是星期一，您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。 如果设置分词符为逗号（,），则原始日志被拆分为error、400、I Know 今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如error、400、Kn*、今天是*。 如果设置分词符为逗号（,）和空格，则原始日志被拆分为error、400、I、Know、今天是星期一5个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如Know、今天是*。
   特殊分词符	单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。

6. 完成后，单击确定。

配置字段索引

创建字段索引时，最多支持添加500个字段。其中JSON类型字段，最多支持添加100个子字段。

字段索引的自定义分词符和特殊分词符仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。

1. 配置全文索引后，在索引配置页面的可视化下方，单击开启可视化后，配置的字段索引支持SQL可视化分析。

   

2. 在索引配置页面的字段索引下方，单击“添加字段”，参考表3设置字段信息。
3. 或者勾选字段，单击批量配置，在批量配置页面设置参数。
   图1 批量配置
   

4. 参考表3配置字段索引。
   

   • 字段索引的参数配置仅对该字段生效。
   • 当添加的字段在日志内容中不存在时，则配置的该索引字段无效。

   表3 自定义字段索引配置参数

   参数	说明
   字段名称	日志字段名称，例如示例日志中的level。 字段名称只能包括字母、数字或下划线（_），且只能以字母或下划线（_）开头，字段名称中不能含有双下划线。 说明： 双下划线（__）在LTS不对用户呈现的内置保留字段中使用，用户自定义日志字段名中不能使用双下划线__，否则无法配置字段索引名称。 日志服务默认会对部分内置保留字段开启字段索引，请参见内置保留字段。 若是内置字段，在字段名称后会显示“内置”字眼，方便用户识别。
   类型	日志字段值（Value）的数据类型，可选值为string、long、float、json。 说明： 字段json类型只对ICAgent结构化解析生效，对云端结构化解析不生效。ICAgent结构化解析功能仅支持白名单用户使用，有需要可提交工单申请使用。详细操作请参考提交工单。 long类型和float类型不支持设置大小写敏感、包含中文和分词符。
   大小写敏感	查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志message字段中含有Know，那么您只能使用message:Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志message字段中含有Know，那么您使用关键字message:KNOW和message:know都能查到该日志。
   自定义分词符	根据指定分词符，将日志内容拆分成多个词。日志服务的默认分词符为, '";=()[]{}@&<>/:\n\t\r。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为：I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词I Know 今天是星期一，您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。 如果设置分词符为空格，则原始日志被拆分为I、Know、今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如message:Know或message:今天是星期一。
   特殊分词符	单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。
   包含中文	查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为一个个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志message字段内容为：I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为I、Know、今天是星期一，您可以通过message:Know或message:今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一，您通过message:Know或message:今天等词都可以查找到该日志。
   快速分析	默认为开启状态，开启后，可以对字段值做采样统计，请参见11.6.4-快速分析。 说明： 快速分析的原理是对搜索命中的日志采样10万条进行数据统计，不是全量统计。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。
   操作	单击，删除添加的自定义字段。

5. 完成后，单击“确定”。

自动配置字段索引

在创建字段索引时，您可以单击自动配置，日志服务会自动添加一些字段索引，您可以根据自己的需要增加或者删除字段：

• 日志服务会根据采集时预览数据中的第一条内容，自动生成字段索引。
• 日志服务会选取几个最常见的内置保留字段添加到字段索引中（例如hostIP、hostName、pathFile）。

ASCII码对照表