创建LTS日志索引

索引类型

云日志服务LTS支持全文索引和字段索引，详细请参考表1。

以下是一条典型日志示例，content字段值是日志原文，使用分隔符逗号将原始日志解析成3个字段level、status、message。

示例日志中的hostName、hostIP、pathFile是常见的内置保留字段，详细内置字段请参考内置保留字段。

{ 
"hostName":"epstest-xx518",
"hostIP":"192.168.0.31",
"pathFile":"stdout.log",
"content":"error,400,I Know XX",
"level":"error",
"status":400,
"message":"I Know XX"
}

费用说明

创建索引会产生索引流量，更多信息请参考计费项。

注意事项

• 全文索引属性和字段索引属性必须至少启用一种。
• 关闭索引后，历史索引的存储空间将在当前日志流的数据保存时间到期后，自动被清除。
• 云日志服务默认已为部分内置保留字段创建字段索引，请参见内置保留字段。
• 不同的索引配置，会产生不同的查询和分析结果，请根据您的需求，合理创建索引。全文索引和字段索引互不影响。
• 索引配置修改后，对新写入的日志数据生效，历史日志数据不会生效。
• 在字段索引功能上线前，SQL分析支持的字段来自于云端结构化解析；在字段索引功能上线后，只要用户配置了字段索引，SQL分析支持的字段将来自于字段索引，因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响，请谨慎操作。

配置全文索引

1. 登录云日志服务控制台，进入“日志管理”页面。
2. 单击目标日志组或日志流名称，进入日志流详情页面。
3. 在“日志搜索”页面，单击快速分析旁边的进入“索引配置”页面。
   图1 配置索引
   

4. 在索引配置页面中，默认开启“全文索引”按钮，参考表2配置各参数信息。

   表2 自定义全文索引配置参数

   参数	说明	示例
   全文索引	开启“全文索引”开关，表示创建全文索引。	开启
   大小写敏感	查询时是否区分英文字母的大小写。 开启“大小写敏感”开关，则查询时区分大小写。例如示例日志含有Know，那么您只能使用Know才能查询到该日志。 关闭“大小写敏感”开关，则查询时不区分大小写。例如示例日志含有Know，那么您使用关键字KNOW和know都能查到该日志。	开启
   包含中文	查询时是否区分中英文。 开启“包含中文”开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭“包含中文”开关后，按照分词符的设置拆分所有内容。	例如示例日志内容为： error,400,I Know 今天是星期一。 关闭“包含中文”开关后，按照分词符的设置拆分英文内容，日志会被拆分为error、400、I、Know、今天是星期一，您可以通过error或今天是星期一查找该日志。 开启“包含中文”开关后，日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一，您通过error或今天等词都可以查找到该日志。
   分词符	根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 单击“预览”，查看分词预览效果。	例如示例日志内容为： error,400,I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词error,400,I Know 今天是星期一，您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。 如果设置分词符为逗号（,），则原始日志被拆分为error、400、I Know 今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如error、400、I Kn*、今天是*。 如果设置分词符为逗号（,）和空格，则原始日志被拆分为error、400、I、Know、今天是星期一5个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如Know、今天是*。
   特殊分词符	单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值和控制字符。	-

5. 全文索引配置完成后，单击“确定”。
   • 如果没有开通管道符方式，需要使用SQL日志分析功能，请开启“日志分析”。
     图2 日志分析
     
   • “日志分析”功能即将下线，建议直接使用管道符方式进行分析，详细请参考日志搜索与分析（管道符方式）。
   • 开通管道符方式后，新建的日志流在索引配置页面不显示“日志分析”开关。

配置字段索引

创建字段索引时，最多支持添加500个字段。其中JSON类型字段，最多支持添加100个子字段。

1. 设置快速分析采样条数，默认值10万条，最小值为10万条，最大值1000万条。通过采样快速统计字段值取值分布，并非对全量数据进行分析，采样条数越多分析数据越慢。
2. 自动配置字段索引。在索引配置页面的字段索引下方，单击“自动配置”，云日志服务LTS会根据近15分钟的第一条日志内容或常见内置保留字段（例如hostIP、hostName、pathFile）自动生成字段索引，您可以根据自己的需要增加或者删除字段。
   • 在索引配置页面单击“自动配置”时，默认获取最近15分钟的原始日志和内置字段的交集，LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。
   • 若15分钟内没有原始日志，则获取hostIP、hostName、pathFile、结构化字段、tag字段共同组成字段索引下方的表格数据。
   • ECS接入选择结构化配置时，进入索引配置页面，若没有单击“自动配置”，则会自动加上如下字段：category、hostName、hostId、hostIP、hostIPv6、pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。
   • CCE接入选择结构化配置时，进入索引配置页面，若没有单击“自动配置”，则会自动加上如下字段：category、clusterId、clusterName、nameSpace、podName、containerName、appName、hostName、hostId、hostIP、hostIPv6、pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。

3. 单个添加字段索引。在索引配置页面的字段索引下方，单击“添加字段”，配置字段索引。具体的参数配置请参考表3。
   • 通过添加日志结构化中提取的字段，对日志数据进行统计与分析，如果您在结构化界面对字段名称进行了修改，请重新添加字段。
   • 字段索引的参数配置仅对该字段生效。
   • 当添加的字段在日志内容中不存在时，则该配置的索引字段无效。

   表3 自定义字段索引配置参数

   参数	说明
   字段名称	日志字段名称，例如示例日志中的level。 字段名称只支持输入英文、数字、中划线、下划线及小数点，不能以小数点开头或结尾且不能以双下线结尾。 日志服务默认会对部分内置保留字段开启字段索引，请参见内置保留字段。 若是内置字段，在字段名称后会显示“内置”字眼，方便用户识别。
   执行操作	显示字段的添加状态：新增、不修改、修改、删除。索引字段有变动后，单击“修改对比”，即可查看原配置内容与修改后配置内容的差异。 显示新增的字段不支持修改执行操作。 修改类型、别名、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时，会与原索引配置中的字段进行对比，若任意一项不同，则执行操作变为“修改”。 索引配置单击确定后，不会保存执行操作为“删除”的字段。 在字段索引下方的搜索框，支持按字段名称、执行操作、类型搜索字段。 勾选多个字段后，单击“批量配置”，支持批量配置如下操作：执行操作、类型、大小写敏感、自定义分词符等。
   类型	日志字段值（Value）的数据类型，可选值为string、long、float、json。 long类型和float类型不支持设置大小写敏感、包含中文、分词符。
   别名	支持为字段名称设置别名，合理设置字段别名可以显著提高日志的可读性、可维护性和查询效率。 设置别名后，只支持使用别名进行SQL搜索分析，不支持使用别名进行关键字搜索。
   大小写敏感	查询时是否区分英文字母的大小写。 开启“大小写敏感”开关，则查询时区分大小写。例如示例日志message字段中含有Know，那么您只能使用message:Know才能查询到该日志。 关闭“大小写敏感”开关，则查询时不区分大小写。例如示例日志message字段中含有Know，那么您使用关键字message:KNOW和message:know都能查到该日志。
   自定义分词符	根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为：I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词I Know 今天是星期一，您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。 如果设置分词符为空格，则原始日志被拆分为I、Know、今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如message:Know或message:今天是星期一。
   特殊分词符	单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值和控制字符。
   包含中文	查询时是否区分中英文。 开启“包含中文”开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭“包含中文”开关后，按照分词符的设置拆分所有内容。 例如示例日志message字段内容为：I Know 今天是星期一。 关闭“包含中文”开关后，按照分词符的设置拆分英文内容，日志会被拆分为I、Know、今天是星期一，您可以通过message:Know或message:今天是星期一查找该日志。 打开“包含中文”开关后，日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一，您通过message:Know或message:今天等词都可以查找到该日志。
   快速分析	默认为开启状态，开启后，可以对字段值做采样统计，请参见创建快速分析。 快速分析的原理是对搜索命中的日志采样10万条进行数据统计，不是全量统计。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。
   操作	单击，删除添加的自定义字段。

4. 完成后，单击“确定”。

内置保留字段

在采集日志时，云日志服务会将采集时间、日志类型、主机IP等信息以Key-Value对的形式添加到日志中，这些字段是云日志服务的内置字段。

• 使用API写入日志数据或添加ICAgent配置时，请不要将字段名称设置为内置保留字段，否则可能会造成字段名称重复、查询不精确等问题。
• 云日志服务为日志数据增加的内置保留字段当前免费。更多信息请参见价格计算器。
• 用户自定义日志字段名称中不能使用双下划线__，否则无法配置索引。
• 内置保留字段不支持在字段索引下方配置大小写敏感、分词符、包含中文，具体配置默认与全文索引配置保持一致。

ASCII码对照表

相关文档

• 创建LTS日志索引后，您可通过云日志服务LTS的日志告警功能，通过设置告警规则提醒您日志中的异常情况，请参考配置日志告警规则。
• LTS支持通过调用API接口创建日志流索引，详细请参考创建日志流索引。
• LTS支持通过调用API接口查询日志流索引，详细请参考查询日志流索引。