云主机ECS文本日志接入LTS
弹性云服务器(Elastic Cloud Server)作为核心计算资源,承载着大量业务应用的运行。应用运行会产生一些文本日志数据,例如,应用程序日志、系统日志等。这些日志数据是监控系统健康状态、优化性能和排查故障的基础支撑。为了更好地管理和分析日志,你可以将ECS文本日志接入LTS,实现日志的集中存储、以便于后续的日志查询、分析和告警。
您可以按照如下步骤完成接入配置。
步骤1:选择日志流:选择将日志存储到对应的日志流中,便于不同类型日志分类存储管理。
步骤2:选择主机组(可选):选择日志接入的主机范围,主机组是为了便于分类管理、提升配置多个主机日志采集的效率,对主机进行虚拟分组的单位。可以将需要采集日志的一台或多台主机加入到同一个主机组中,再将该主机组关联至同一个接入配置中。
步骤3:采集配置:配置日志的采集路径、采集策略等。
步骤4:索引配置:索引是一种存储结构,用于对日志数据进行查询。通过配置索引后,可对日志进行查询和分析操作。
步骤5:完成接入配置:接入成功后,可以在接入列表进行任务的增删改查。
若需要采集多个场景的日志,您可以选择批量设置多个接入配置的方式,同时设置多个接入配置。
约束限制
- ICAgent采集插件的限制请参考ICAgent限制。
- 相同主机的同一个日志采集路径,如果在AOM进行了配置,则不能在LTS重复配置。详情请参考AOM的配置虚机日志采集路径。
- 配置日志接入时可以同时选择多个主机组,同一个主机组又可以添加多个主机。所以不同主机的路径可以通过主机组来控制采集配置接入。
- LTS下发采集配置后,ICAgent对文件的采集规则如下:
- 新文件(首次采集):若文件最后修改时间与当前时间相差超过6小时,则不采集。
- 旧文件(非首次采集):若文件最后修改时间与当前时间相差超过3分钟,则不采集。
- LTS暂不支持采集PostgreSQL(数据库)实例的日志。
- 日志游标文件数量最大支持5w,若超出该阈值,ICAgent将停止新增采集任务。
前提条件
- 为用户添加云日志服务LTS的操作权限。详细请参考通过IAM授予使用LTS的权限。
- 已创建日志组和日志流。详细请参考管理日志组和管理日志流。
- 准备好需要采集日志的ECS主机。如果您已有可用的ECS主机,可重复使用,不需要再次创建。详细请参考自定义购买ECS。
- 主机已安装ICAgent,根据主机所在位置选择安装方式,详细请参考安装ICAgent(区域内主机)、安装ICAgent(区域外主机)。
- 已将安装ICAgent的主机加入主机组,详细请参考管理LTS主机组。
- 为了确保主机能正常上报日志数据和使用指标,主机的安全组开放入方向对应端口(8149、8102、8923、30200、30201、80)。详情请参考添加安全组规则。
- 日志接入前,需要确认开启ICAgent采集开关,请参考设置LTS日志采集配额和使用量预警。
- 采集开关默认打开,当您不需要采集日志时,可通过关闭采集开关来停止日志采集,以减少资源占用。
- 日志采集关闭后,ICAgent会停止采集日志,并且在应用运维管理AOM控制台的“日志采集开关”也会同步关闭。
步骤1:选择日志流
- 登录云日志服务控制台。
- 在左侧导航栏中,选择“日志接入 > 接入中心”,在类型下方选择“运行环境”或“云服务”,鼠标悬浮在ECS卡片上,单击“接入日志(LTS)”进入配置页面。 图1 进入ECS接入配置
或在左侧导航栏中,选择“日志接入 > 接入管理”,单击“创建”,在弹出的页面中,在类型下方选择“运行环境”或“云服务”,鼠标悬浮在ECS卡片上,单击“接入日志(LTS)”进入配置页面。
- 选择日志组。
- 选择已创建的日志组:单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组名称。
- 若没有所需的日志组:单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组,详情请参考管理日志组。
- 选择日志流。
- 选择已创建的日志流:单击“所属日志流”后的目标框,在下拉列表中选择已创建的日志流。
- 若没有所需的日志流:单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。详情请参考管理日志流。
- 单击“下一步:选择主机组”。
步骤2:选择主机组(可选)
主机组是为了便于分类管理、提升配置多个主机日志采集的效率,对主机进行虚拟分组的单位。请确保待采集日志的主机已安装ICAgent并添加至主机组。
- 选择主机组。
- 勾选已有主机组:在主机组列表中勾选一个或多个需要采集日志的主机组。
若此处不勾选主机组,单击“下一步:采集配置”,界面弹窗提示确认后,可以强制跳过。但是这会导致采集配置不生效,建议接入配置时选择主机组。
若此处未勾选主机组,可以通过以下两种方式对主机组进行设置。
- 若没有所需的主机组:单击列表左上方“新建”进入“新建主机组”页面。
- 若主机已安装ICAgent:在“新建主机组”页面添加主机下方,勾选已安装ICAgent的主机。具体操作可参考管理LTS主机组。
- 若主机没有安装ICAgent:在“新建主机组”页面添加主机下方,单击“安装ICAgent”为主机安装ICAgent。根据主机所在位置选择区域内主机安装或区域外主机安装。具体操作请参考安装ICAgent(区域内主机)和安装ICAgent(区域外主机)。在主机安装ICAgent完成后,在接入日志页面需要重新单击“新建”,进入“新建主机组”页面,在主机列表下方即可看到主机信息。
图4 新建主机组
- 勾选已有主机组:在主机组列表中勾选一个或多个需要采集日志的主机组。
- 单击“下一步:采集配置”。
步骤3:采集配置
采集配置项涉及日志的采集范围、采集方式、格式处理等内容配置,请参考以下步骤完成采集配置。
请注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据通过访问日志涉及的字段传输,必要时请加密保护。
步骤4:索引配置
索引是一种存储结构,用于对日志数据进行查询。通过配置索引后,可对日志进行查询和分析操作。不同的索引配置,则会产生不同的查询和分析结果,请根据您的需要,合理配置索引。
- 若您暂时无需通过某字段进行查询或分析,接入时可以直接跳过索引配置,不影响日志采集。待日志接入成功后,再根据业务需求优化索引配置(仅对新写入的日志生效)。详细操作请参考创建LTS日志索引。在“索引配置”页面保持默认设置,直接单击“跳过并提交”,界面提示“日志接入成功”。
- 若您需要通过特定字段进行查询或分析,接入时请在“索引配置”页面配置索引。详细操作请参考创建LTS日志索引。
您可以单击“自动配置”,云日志服务LTS会根据近15分钟的第一条日志内容或常见内置保留字段(例如hostIP、hostName、pathFile)自动生成字段索引。或者手动添加字段,只能添加已结构化的字段。设置完成后,单击“提交”,界面提示“日志接入成功”。日志接入成功后,您仍可以根据业务需求随时调整索引配置(仅对新写入的日志生效)。
步骤5:完成接入配置
接入成功后会生成一条接入配置信息。
- 单击接入配置名称可进入详情页面,查看该接入配置详细信息。
- 单击接入配置操作列的“修改”重新修改接入配置信息。
接入方式为云容器引擎CCE、ServiceStage-容器应用日志、自建K8s集群的接入任务不支持导航流程切换。其他接入方式支持切换导航流程。操作参考如下:您可以直接单击上方导航流程里的“选择日志流”、“选择主机组(可选)”、“采集配置”或“索引配置”快速切换到对应页面进行修改,修改完成,单击“提交”后才能保存该页面的内容。
- 单击接入配置操作列的“更多 > 标签管理”即可添加标签。
- 单击接入配置操作列的“更多 > 复制”复制一条新的接入配置信息。
- 单击接入配置操作列的“删除”即可删除接入配置信息。
删除接入配置后会导致日志无法正常采集,可能会影响用户日志相关业务异常,且删除后无法恢复,请谨慎操作。
- 若不需要采集日志,关闭“接入配置开关”列的开关。若需要重新采集日志,需要重新开启“接入配置开关”列的开关。
关闭接入配置后会导致日志无法正常采集,可能会影响用户日志相关业务异常,请谨慎操作。
- 单击接入配置操作列的“更多 > ICAgent采集诊断”,可查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控。如果没有显示该功能,请参考设置ICAgent日志采集开关,开启“ICAgent诊断开关”。
批量设置多个接入配置
支持同时批量设置多个接入配置,操作简单,不用重复配置即可快速完成多个场景的接入配置。
- 在“接入管理”页面,单击“批量创建”,进入配置详情页面。
- 接入类型:选择云主机 ECS-文本日志。
- 规则列表:
- 在输入框填写接入配置数量,单击“添加接入配置”。
- 在右侧配置项下方自定义填写“规则名称”,配置项设置完成后,也可以双击左侧接入配置的名称自定义命名。规则名称只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。
- 鼠标放在接入配置上面,单击
即可直接复制接入配置。 - 鼠标放在接入配置上面,单击
,在弹出的提示框单击“确定”删除接入配置。
- 配置项:
- 左侧显示接入配置的信息,最多支持添加99个配置。
- 右侧显示配置接入的内容,详细请参考步骤3:采集配置进行设置。
- 一个接入配置设置完成后,单击“应用于其他接入配置”即可将该接入配置复制到其他接入配置。
- 单击“参数检查”,检查成功后,单击“提交”,批量接入设置完成。
例如添加了4个接入配置,批量创建成功后,返回“接入管理”下方,就会显示4条接入配置任务。
- (可选)支持对接入配置任务进行以下操作:
- 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。
- 勾选多个接入配置开关显示关闭的接入配置,单击“接入配置开启/关闭”,选择“开启”即可批量开启接入配置任务。
- 勾选多个接入配置开关显示开启的接入配置,单击“接入配置开启/关闭”,选择“关闭”。接入配置状态关闭后不会继续采集日志,请谨慎操作。
- 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
添加接入配置标签
支持对已创建的接入配置任务添加标签,每个标签由“标签键”和“标签值”组成,用于快速识别、检索和管理接入配置任务。添加、修改、删除标签仅对当前接入配置有效。
- 左侧导航栏选择“日志接入 > 接入管理”,进入“接入管理”页面。
- 单击目标接入配置操作列的“更多 > 标签管理”。
- 在弹出的编辑标签页面,单击“添加”,填写标签键和标签值。如需添加多个标签可重复该步骤,最多支持添加20个标签。 图9 接入配置编辑标签
标签键key限制条件:
- 标签键可以包含任意语种的字母、数字和空格,以及_.:=+-@字符,但首尾不能包含空格,且不能以_sys_开头。
- 标签键长度不能超过128个字符。
- 标签键名称不可重复。
标签值value限制条件:
- 标签值可以包含任意语种的字母、数字和空格,以及_.:=+-@字符。
- 标签值长度不能超过255个字符。
标签策略:
若您的组织已经设定云日志服务的相关标签策略,则需按照标签策略规则为日志组、日志流、日志接入、主机组、告警规则添加标签。标签如果不符合标签策略的规则,则可能会导致日志组、日志流、日志接入、主机组、告警规则创建失败,请联系组织管理员了解标签策略详情。标签策略详细介绍请参考标签策略概述,标签管理详细介绍请参考标签管理。
删除标签:
如需删除标签,在“编辑标签”页面单击标签操作列的“删除”。
如果配置转储时使用了该标签,删除标签后,请同步修改转储配置信息。
- 单击“确定”,接入配置的标签添加完成。在接入配置列表的“标签”列可以查看接入配置已添加的标签。 图10 接入标签
相关文档
- 日志接入LTS成功后,您可通过云日志服务LTS的搜索与分析功能快速洞察日志数据,请参考日志搜索与分析(即将下线SQL分析方式)。
- 日志接入LTS成功后,您可通过云日志服务LTS的日志告警功能,通过设置告警规则提醒您日志中的异常情况,请参考配置日志告警规则。
- 如果在安装ICAgent时遇到问题,您可以参考主机管理常见问题获取解决方案。
- 如果在配置日志接入时遇到问题,您可以参考日志接入常见问题获取解决方案。
- LTS支持通过调用API接口实现创建日志接入、查询日志接入、删除日志接入等,详细请参考日志接入。
- 为您推荐几种在真实使用场景下的数据采集实践教程。更多信息请参考日志接入最佳实践。
- 如果是多云或者跨Region采集日志的场景,您可以参考采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS。
- 如果需要采集多渠道数据,您可以参考采集多渠道日志数据到LTS。
- 如果是跨IAM账号采集日志的场景,您可以参考通过跨IAM账号接入LTS采集数据。



