日志接入概述
应用程序和服务在运行过程中会产生大量日志数据，包括系统运行状态、错误信息和用户操作记录等。这些数据在系统运维、故障排查和业务分析等关键环节中发挥着重要作用。然而，随着日志数据量的增加和格式的多样化，管理和分析这些数据变得更具挑战性。此时，日志接入能够帮助您高效地采集日志数据，并将其保存到LTS中。日志接入后，您还可以通过LTS使用日志搜索、日志分析和日志告警等功能，进一步提升运维效率和业务洞察力。
介绍视频
费用说明
日志接入会产生相关日志写入流量费用，更多信息请参考计费项。
日志接入方式
LTS提供实时日志接入功能，支持通过ICAgent插件、云服务接入、API接入等多种方式将采集到的日志上报到LTS。日志接入LTS后，用户就可以在云日志服务控制台进行一系列操作，例如搜索与分析日志、使用统计图表或仪表盘可视化展示日志统计结果、设置日志告警、设置日志转储等。
云日志服务LTS数据采集的总体概览如下图：
|
采集方式 |
说明 |
|---|---|
|
ICAgent插件采集 |
ICAgent是云日志服务进行日志采集的插件工具，运行在需要采集日志的主机中。通过ICAgent插件，可以实现无侵入主机文本或容器应用场景的日志，将日志接入到LTS，实现日志统一管理。
|
|
云服务接入LTS |
LTS支持采集AOM、APIG、CFW等多个云服务日志数据，例如云服务的操作日志（管理事件追踪）、性能日志（资源利用率）、网络日志（流量记录）等信息。通过LTS统一管理云服务日志，您可以快速搜索日志、分析日志，配置日志告警，及时掌握云服务的运行状态，提升运维效率，请参考使用云服务接入LTS。 |
|
数据导入 |
如果您有存储在OBS桶中的日志文件，可以使用数据导入的方式，将对象存储服务桶内的文件一次性或定期导入到云日志服务日志数据导入到LTS，请参考对象存储服务OBS接入LTS（邀测）。
说明：
目前此功能在邀测中，暂不支持申请开通。 |
|
API接入 |
通过调用LTS提供的上报日志接口和上报高精度日志接口，即可将日志数据接入LTS，实现日志集中管理。 |
|
跨IAM账号接入 |
通过创建委托，您可以将委托账号的日志流映射到被委托方账号的日志流下，被委托账号即当前云日志服务登录账号。 |
|
通过标准Kafka协议接入 |
您可以通过标准Kafka协议将日志上报到日志服务，这种方式仅依赖于Kafka协议，支持各类Kafka Producer SDK或采集工具。比如，如果您正在使用Logstash作为日志采集工具，只需修改配置文件，就可以将日志直接上报到日志服务，无需额外安装其他组件。请参考使用KAFKA协议上报日志到LTS。 |
|
匿名写入信息接入 |
如果您需要收集和分析用户在浏览器、小程序上的信息，例如用户的浏览器、浏览行为记录、购买行为记录、停留时间等匿名写入信息，可以使用匿名写入功能。请参考使用匿名写入采集日志。 |
ICAgent插件介绍
ICAgent是云日志服务的日志采集工具，运行在需要采集日志的主机中。使用ICAgent插件采集日志具有如下优势：
- 直接采集现有的日志文件，无需修改应用程序代码，不会影响应用程序运行。
- 稳定处理日志采集过程中的各种异常。当遇到网络异常、服务端异常等问题时会采用主动重试、本地缓存数据等措施保障数据安全。
- 基于日志服务的集中管理能力。安装ICAgent后，只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。
- 完善的自我保护机制。为保证运行在服务器上的ICAgent，不会明显影响您服务器上其他服务的性能，ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。
ICAgent采集原理
主机安装ICAgent后，会对所关联的日志文件进行实时监听。ICAgent侧收到LTS接入页面下发的采集配置后，会定时解析采集配置信息，获取到采集路径后在节点上进行路径匹配，将节点上对应的文件加入监控任务中，通过轮询和inotify感知目标日志文件的变化。
ICAgent侧发现文件变更后，读取文件的内容，分块发送到处理模块，进行单行、多行、结构化、拆分、添加标签等日志处理动作，再将处理好的任务提交到发送任务池后，上报到LTS。
ICAgent安装说明
如果需要采集主机指标、容器指标、节点日志、容器日志、标准输出日志等，则需要在采集日志的机器上安装ICAgent。
请参考安装ICAgent（区域内主机）和安装ICAgent（区域外主机）。
- 区域内主机就是主机所在区域和用户登录云日志服务控制台所在的区域相同，例如中国-香港。
- 区域外主机就是主机所在区域和用户登录云日志服务控制台所在区域不同，例如华为云其他区域、第三方都属于区域外主机。
ICAgent结构化解析规则
ICAgent除了提供日志采集功能外，还支持在采集过程中对日志数据进行结构化处理。因此日志接入前，您可以提前了解ICAgent结构化解析规则，然后根据日志内容选择合适的解析规则。详情请参考配置ICAgent结构化解析。
除此之外，LTS还提供了云端结构化解析的能力，详情请参考设置云端结构化解析日志。但在ICAgent插件采集场景更推荐ICAgent结构化解析。一个日志流只能配置一种日志数据结构化方式，例如，日志流在配置ICAgent结构化解析后，不能再配置云端结构化解析。
- ICAgent结构化解析是在采集侧做结构化，支持插件组合解析，单个日志流的多个采集配置支持不同结构化解析规则，推荐使用ICAgent结构化解析的方式，更多内容请参考配置ICAgent结构化解析。
- 云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化，云端结构化解析会消耗LTS服务端算力，未来会按照日志大小收取日志加工流量费用。
在不同的接入场景下选择日志数据的结构化解析方式可以参考图3。
