索引配置
索引是一种存储结构，用于对日志数据进行查询。通过配置索引后，可对日志进行查询和分析操作。不同的索引配置，则会产生不同的查询和分析结果，请根据您的需要，合理配置索引。
日志示例
以下是一条典型日志，content字段值是日志原文，使用分隔符逗号将原始日志解析成3个字段level、status、message；
示例日志中的hostName、hostIP、pathFile是常见的内置保留字段，详细内置字段请参考内置保留字段。
{
"hostName":"epstest-xx518",
"hostIP":"192.168.0.31",
"pathFile":"stdout.log",
"content":"error,400,I Know XX",
"level":"error",
"status":400,
"message":"I Know XX"
}
索引类型
云日志服务的索引类型如下：
索引类型 |
说明 |
|---|---|
全文索引 |
开启全文索引后，日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。
说明：
|
字段索引 |
配置字段索引后，您可以指定字段名称和字段值（Key:Value）进行查询，缩小查询范围。
说明：
关于日志示例有两种情况：
|
注意事项
- 全文索引属性和字段索引属性必须至少启用一种。
- 索引配置（新增、编辑、删除字段，修改配置项等操作）只对新写入的日志生效，历史日志不会生效。当前不支持对历史日志重建索引。
- 关闭索引后，历史索引的存储空间将在当前日志流的数据保存时间到期后，自动被清除。
- 日志服务默认已为部分内置保留字段创建字段索引，请参见内置保留字段。
- 不同的索引配置，会产生不同的查询和分析结果，请根据您的需求，合理创建索引。全文索引和字段索引互不影响。
配置全文索引
- 登录云服务日志控制台，单击“日志管理”。
- 在日志组列表中，单击日志组名称左侧的
，选择日志流，进入日志流管理界面。 - 在日志流详情页面，单击右上角
，进入索引配置页面。 - 在索引配置页面中，默认开启“全文索引”按钮。
- 在索引配置页面选择自动配置时，默认获取最近15分钟的原始日志和内置字段的交集，LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。
- 若15分钟内没有原始日志，则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。
- ECS接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。
- CCE接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。
- 请参考表2配置参数信息。
表2 自定义全文索引配置参数 参数
说明
全文索引
打开全文索引开关，表示创建全文索引。
大小写敏感
查询时是否区分英文字母的大小写。
- 打开大小写敏感开关，则查询时区分大小写。例如示例日志含有Know，那么您只能使用Know才能查询到该日志。
- 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志含有Know，那么您使用关键字KNOW和know都能查到该日志。
包含中文
查询时是否区分中英文。
- 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。
说明：
一元分词是指将中文字符串拆分为一个个独立的中文字。
使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。
- 关闭包含中文开关后，按照分词符的设置拆分所有内容。
例如示例日志内容为：
error,400,I Know 今天是星期一。
- 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为error、400、I、Know、今天是星期一，您可以通过error或今天是星期一查找该日志。
- 打开包含中文开关后，日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一，您通过error或今天等词都可以查找到该日志。
分词符
根据指定分词符，将日志内容拆分成多个词。日志服务的默认分词符为, '";=()[]{}@&<>/:\n\t\r。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。
如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。
例如示例日志内容为：
error,400,I Know 今天是星期一。
- 如果不设置任何分词符，整条日志被作为一个词error,400,I Know 今天是星期一，您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。
- 如果设置分词符为逗号（,），则原始日志被拆分为error、400、I Know 今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如error、400、Kn*、今天是*。
- 如果设置分词符为逗号（,）和空格，则原始日志被拆分为error、400、I、Know、今天是星期一5个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如Know、今天是*。
- 完成后，单击确定。
配置字段索引
创建字段索引时，最多支持添加500个字段。其中JSON类型字段，最多支持添加100个子字段。
- 登录云服务日志控制台，单击“日志管理”。
- 在日志组列表中，单击日志组名称左侧的
，选择日志流，进入日志流管理界面。 - 在日志流详情页面，单击右上角
，进入索引配置页面。单击添加字段，输入字段名称。 - 参考表3配置字段索引。
- 字段索引的参数配置仅对该字段生效。
- 当添加的字段在日志内容中不存在时，则配置的该索引字段无效。
表3 自定义字段索引配置参数 参数
说明
字段名称
日志字段名称，例如示例日志中的level。
字段名称只能包括字母、数字或下划线（_），且只能以字母或下划线（_）开头，字段名称中不能含有双下划线。
说明：- 双下划线（__）在LTS不对用户呈现的内置保留字段中使用，用户自定义日志字段名中不能使用双下划线__，否则无法配置字段索引名称。
- 日志服务默认会对部分内置保留字段开启字段索引，请参见内置保留字段。
类型
- 日志字段值（Value）的数据类型，可选值为string、long、float。
- long类型和float类型不支持设置大小写敏感、包含中文和分词符。
快速分析
默认为开启状态，开启后，可以对字段值做采样统计，请参见11.6.4-快速分析。
说明：- 快速分析的原理是对搜索命中的日志采样10万条进行数据统计，不是全量统计。
- 快速分析的字段长度最大为2000字节。
- 快速分析字段展示前100条数据。
操作
单击
，删除添加的自定义字段。 - 完成后，单击“确定”。
自动配置字段索引
在创建字段索引时，您可以单击自动配置，日志服务会自动添加一些字段索引，您可以根据自己的需要增加或者删除字段：
- 日志服务会根据采集时预览数据中的第一条内容，自动生成字段索引。
- 日志服务会选取几个最常见的内置保留字段添加到字段索引中（例如hostIP、hostName、pathFile）。
