裸金属服务BMS文本日志接入LTS
裸金属服务器(Bare Metal Server)是一款兼具虚拟机弹性和物理机性能的计算类服务,为您和您的企业提供专属的云上物理服务器,为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。
当您选择了裸金属服务BMS接入方式时,云日志服务可以将BMS待采集日志的路径配置到日志流中,ICAgent按照日志采集规则采集日志,以日志流为单位发往云日志服务,您可以在云日志服务控制台查看和分析日志,可以确保服务器的稳定运行和信息安全。
您可以按照如下步骤完成接入配置。
步骤1:选择日志流:选择将日志存储到对应的日志流中,便于不同类型日志分类存储管理。
步骤2:选择主机组(可选):选择日志接入的主机范围,主机组是为了便于分类管理、提升配置多个主机日志采集的效率,对主机进行虚拟分组的单位。可以将需要采集日志的一台或多台主机加入到同一个主机组中,再将该主机组关联至同一个接入配置中。
步骤3:采集配置:配置日志的采集路径、采集策略等。
步骤4:索引配置:索引是一种存储结构,用于对日志数据进行查询。通过配置索引后,可对日志进行查询和分析操作。
步骤5:完成接入配置:接入成功后,可以在接入列表进行任务的增删改查。
若需要采集多个场景的日志,您可以选择批量设置多个接入配置的方式,同时设置多个接入配置。
约束限制
- ICAgent采集插件的限制请参考ICAgent限制。
- 相同主机的同一个日志采集路径,如果在AOM进行了配置,则不能在LTS重复配置。详情请参考AOM的配置虚机日志采集路径。
- 配置日志接入时可以同时选择多个主机组,同一个主机组又可以添加多个主机。所以不同主机的路径可以通过主机组来控制采集配置接入。
- LTS下发采集配置后,如果文件最后修改时间和当前时间差如果已超过12小时,ICAgent将不会采集该文件。
- LTS暂不支持采集PostgreSQL(数据库)实例的日志。
前提条件
- 为用户添加云日志服务LTS的操作权限。详细请参考授权IAM用户使用云日志服务LTS。
- 已创建日志组和日志流。详细请参考管理日志组和管理日志流。
- 准备好需要采集日志的ECS主机。如果您已有可用的ECS主机,可重复使用,不需要再次创建。详细请参考自定义购买ECS。
- 主机已安装ICAgent,根据主机所在位置选择安装方式,详细请参考安装ICAgent(区域内主机)、安装ICAgent(区域外主机)。
- 已将安装ICAgent的主机加入主机组,详细请参考管理LTS主机组。
- 日志接入前,需要确认开启ICAgent采集开关,请参考设置LTS日志采集配额和使用量预警。
- 采集开关默认打开,当您不需要采集日志时,可通过关闭采集开关来停止日志采集,以减少资源占用。
- 日志采集关闭后,ICAgent会停止采集日志,并且在应用运维管理AOM控制台的“日志采集开关”也会同步关闭。
步骤1:选择日志流
- 登录云日志服务控制台。
-
或在左侧导航栏中,选择“日志接入 > 接入管理 ”,单击“接入日志”,在弹出的页面中,选择“裸金属服务 BMS - 文本日志”。
- 选择日志组。
- 选择已创建的日志组:单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组名称。
- 若没有所需的日志组:单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组,详情请参考管理日志组。
- 选择日志流。
- 选择已创建的日志组:单击“所属日志流”后的目标框,在下拉列表中选择已创建的日志流。
- 若没有所需的日志组:单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。详情请参考管理日志流。
- 单击“下一步:选择主机组(可选)”。
步骤2:选择主机组(可选)
主机组是为了便于分类管理、提升配置多个主机日志采集的效率,对主机进行虚拟分组的单位。请确保待采集日志的主机已安装ICAgent并添加至主机组。
- 选择主机组。
- 勾选已有主机组:在主机组列表中勾选一个或多个需要采集日志的主机组。
若此处不勾选主机组,单击“下一步:采集配置”,界面弹窗提示确认后,可以强制跳过。但是这会导致采集配置不生效,建议接入配置时选择主机组。
若此处未勾选主机组,可以通过以下两种方式对主机组进行设置。
- 若没有所需的主机组:单击列表左上方“新建”进入“新建主机组”页面。
图3 新建主机组
- 若主机已安装ICAgent:在“新建主机组”页面添加主机下方,勾选已安装ICAgent的主机。具体操作可参考管理LTS主机组。
- 若主机没有安装ICAgent:在“新建主机组”页面添加主机下方,单击“安装ICAgent”为主机安装ICAgent。根据主机所在位置选择区域内主机安装或区域外主机安装。具体操作请参考安装ICAgent(区域内主机)和安装ICAgent(区域外主机)。在主机安装ICAgent完成后,在接入日志页面需要重新单击“新建”,进入“新建主机组”页面,在主机列表下方即可看到主机信息。
- 勾选已有主机组:在主机组列表中勾选一个或多个需要采集日志的主机组。
- 单击“下一步:采集配置”。
步骤3:采集配置
采集配置项涉及日志的采集范围、采集方式、格式处理等内容配置,请参考以下步骤完成采集配置。
- 采集配置名称:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。
若需要复用其他已创建好的采集配置信息,单击输入框后面的“导入其他配置”,在导入其他配置页面勾选已创建好的配置,单击“确定”,即可直接复用该采集配置信息,后面的步骤可以不用设置了。
导入旧版配置:将旧版主机接入配置导入到新版日志接入中。
- 若是新安装云日志服务的场景,页面没有显示“导入旧版配置”,则表示不需要导入旧版配置,直接新建配置即可。
- 若是升级云日志服务的场景,页面显示“导入旧版配置”,若需要旧版配置里的主机日志路径,可以选择导入旧版配置,或者直接新建配置。
- 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。最多支持添加30个路径。采集路径设置规则参考如下:
- 采集路径支持递归路径,**表示递归5层目录。
示例:采集路径配置为 /var/logs/**/a.log,日志匹配如下:
/var/logs/a.log /var/logs/1/a.log /var/logs/1/2/a.log /var/logs/1/2/3/a.log /var/logs/1/2/3/4/a.log /var/logs/1/2/3/4/5/a.log
- 以上示例中的/1/2/3/4/5/,表示/var/logs目录中,由外向内递归的5个目录层级,在这5个目录层级中只要存在a.log,都能进行日志匹配。
- 采集路径中只能出现一次**,不能出现两个及以上。正确示例:/var/logs/**/a.log;错误示例:/opt/test/**/log/**。
- 采集路径中第一个层级不允许为**(避免误采集系统文件),错误示例:/**/test。
- 采集路径支持模糊匹配,匹配目录或文件名中的任何字符。
如果配置了C:\windows\system32类似的日志采集路径,但无法采集日志,请尝试打开WAF物理防火墙后重新配置。
- 示例1:采集路径配置为 /var/logs/*/a.log,表示/var/logs/目录下,任何一个目录中存在a.log,都能进行日志匹配,例如:
/var/logs/1/a.log /var/logs/2/a.log
- 示例2:采集路径配置为 /var/logs/service-*/a.log,日志匹配示例:
/var/logs/service-1/a.log /var/logs/service-2/a.log
- 示例3:采集路径配置为 /var/logs/service/a*.log,日志匹配示例:
/var/logs/service/a1.log /var/logs/service/a2.log
- 示例1:采集路径配置为 /var/logs/*/a.log,表示/var/logs/目录下,任何一个目录中存在a.log,都能进行日志匹配,例如:
- 如果配置的是文件名,则直接采集对应文件,只支持内容是文本格式的文件。
- 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。
内置类型为{basename}{连接符}{绕接标识}.后缀,{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号,后缀为字母。
自定义绕接规则为{basename}+绕接文件的特征正则表达式组成匹配规则。例如您的日志文件名称为test.out.log,绕接后的文件名为test.2024-01-01.0.out.log,test.2024-01-01.1.out.log,因此在路径配置时,采集路径为/opt/*.log,绕接规则为{basename}\.\d{4}-\d{2}-\d{2}\.\d{1}.out.log
- 支持验证采集路径的正确性,确保正常采集日志。单击“使用路径验证”,输入采集路径和日志文件绝对路径,最多支持添加30个采集路径,单击“确定”,若路径正确,界面提示验证成功。
- 支持验证绕接规则的正确性,确保正常采集日志。单击“使用绕接规则验证”,输入采集文件名、绕接后的文件名、绕接规则,单击“确定”,若绕接规则正确,界面提示验证成功。
- 采集路径支持递归路径,**表示递归5层目录。
- 允许文件多次采集。(暂不支持Windows场景)
开启“允许文件多次采集”后,同一主机下的同一日志文件支持被采集到多个日志流。该功能依赖ICAgent版本,详见查看ICAgent版本说明。
关闭“允许文件多次采集”后,采集路径不能重复配置,即同一主机下的同一日志文件,即使跨日志流,也只能配置一次。
- 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。
目录和文件名支持完全匹配,也支持模糊匹配,具体可参考路径配置内容进行设置。
- 当设置的黑名单与配置的采集路径重复或者有重合时,优先过滤掉黑名单设置的文件。
- 已经加了黑名单的日志,新建日志接入也无法采集黑名单里的日志,除非在设置采集黑名单下方删除采集路径,才能重新采集。
- 过滤指定的目录时,可以过滤掉该目录下的所有文件,但是不能过滤该目录下文件夹里的日志文件。
- Windows主机不支持设置采集黑名单。
- 采集Windows事件日志:当选择Windows主机采集日志时,需要开启“采集Windows事件日志”。Windows事件日志的采集速率最大支持500条/分钟。请参考表1配置参数:
表1 采集Windows事件日志参数 名称
说明
日志类型
日志类型有系统、应用程序、安全和启动。
- 系统日志:记录由Windows操作系统组件生成的事件,包括驱动程序、系统服务、硬件故障等。
- 应用程序日志:记录由用户应用程序或第三方软件生成的事件。
- 安全日志:记录与系统安全相关的事件,如登录尝试、权限变更、审计策略触发等。
- 启动日志:记录Windows操作系统启动过程中发生的各种事件信息。
首次采集时间偏移量
如设置为7天,表示采集开始时间前7天内的日志(7天前的日志被忽略),该时间仅在首次配置采集生效,确保不会重复采集。最大支持设置为7天。
事件等级
事件等级有information(信息)、warning(警告)、error(错误)、critical(严重)和verbose(详细)。根据Windows事件等级过滤采集。仅支持Windows Vista及以上的操作系统。
- 结构化解析配置。
LTS支持单行-全文日志、多行-全文日志、JSON、分隔符、单行-完全正则、多行-完全正则、组合解析多种类型日志解析规则,您可以根据日志内容选择合适的解析规则。日志采集成功后,结构化处理好的日志会发送到指定的日志流上,您就可以对日志进行字段搜索与SQL分析。
- 开启结构化解析配置,详细操作请参考配置ICAgent结构化解析。
图4 ICAgent结构化解析配置
- 关闭结构化解析配置,则不会对日志数据进行结构化处理,原始日志格式会发送到指定日志流中,仅可以对日志进行一些常规关键词搜索。
- 开启结构化解析配置,详细操作请参考配置ICAgent结构化解析。
- 其他配置。设置采集路径后,您还可以设置日志拆分、采集二进制文件、自定义元数据等。
表2 其他配置 名称
说明
示例
最大目录深度
该参数用于控制日志采集路径使用**模糊匹配的文件目录层级,LTS支持设置最大目录层级为20层。
例如您的日志路径为/var/logs/department/app/a.log,采集路径配置为:/var/logs/**/a.log,最大目录深度设置为5。
5
日志拆分
为了防止单条日志过大或被截断丢弃,您可以按文件大小拆分日志。
- 开启“日志拆分”,支持自定义设置日志拆分大小,设置范围为500KB-1024KB。日志拆分大小为500KB,即单条日志超过500KB会被拆分为多条采集。例如:日志大小为600KB,被拆分为2条日志采集,第一条500KB,第二条100KB。仅支持单行日志,不支持多行日志。
- 不开启“日志拆分”,单条日志大小限制不超过500KB,超过限制部分会被截断丢弃。
开启
采集二进制文件
支持采集以二进制格式存储的日志数据,您可以通过如下命令查看文件类型,如果包含charset=binary,那么该日志文件就是二进制文件。file -i 文件名
- 当日志的文件类型为二进制时,开启“采集二进制文件”,则对接入的二进制文件日志进行采集,但仅支持UTF8编码的字符串,非UFT8编码的字符在LTS控制台页面会显示乱码。
- 当日志的文件类型为二进制时,未开启“采集二进制文件”,则对接入的二进制文件日志停止采集,开启后即可进行采集。
开启
日志文件编码
日志文件里字符内容的存储格式,支持UTF-8、GBK文件编码类型,GBK暂不支持Windows场景。请合理设置编码,确保日志内容能被正确读取和解析,避免乱码或数据损坏。
- UTF-8编码是一种变长编码方式,用于表示Unicode字符集。
- GBK全称《汉字内码扩展规范》,中文计算机编码的一种,是ASCII码和GB2312编码的扩展。
UTF-8
采集策略
ICAgent采集新文件时,您可以设置从文件的末尾或开头开始读取文件。
- 增量采集:ICAgent采集新文件时,从文件的末尾开始读。
- 全量采集:ICAgent采集新文件时,从文件的开头开始读。
增量采集
自定义元数据
开启
- 参考表3配置日志格式、日志时间。若开启结构化解析配置则不用设置该参数。
表3 日志采集信息 名称
说明
日志格式
- 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。
- 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。
日志时间
系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。
- 日志采集时间:ICAgent采集日志,并且发送到云日志服务的时间。
- 日志打印时间:系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒。
- 采集日志时间限制:系统时间的前后24小时内。
时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。
- 如果日志中的时间格式为:2019-01-01 23:59:59.011,时间通配符应该填写为:YYYY-MM-DD hh:mm:ss.SSS。
- 如果日志中的时间格式为:19-1-1 23:59:59.011,时间通配符应该填写为:YY-M-D hh:mm:ss.SSS。
填写示例:
YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond(999) hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00)
分行模式
日志格式选择多行日志时,需要选择分行模式,分行模式选择“日志时间”时,是以时间通配符来划分多行日志;当选择“正则模式”时,则以正则表达式划分多行日志。
正则表达式
此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。
时间通配和正则表达式均是从每行日志的开头进行严格匹配,如果匹配不上,则会默认使用系统时间上报,这样可能会和文件内容中的时间不一致。如果没有特殊需求,建议使用单行日志-系统时间模式即可。
ICAgent只支持RE2风格的正则表达式,详细请参考语法。
- 单击“下一步:索引配置”。
步骤4:索引配置
索引是一种存储结构,用于对日志数据进行查询。通过配置索引后,可对日志进行查询和分析操作。不同的索引配置,则会产生不同的查询和分析结果,请根据您的需要,合理配置索引。
- 若您暂时无需通过某字段进行查询或分析,接入时可以直接跳过索引配置,不影响日志采集。待日志接入成功后,再根据业务需求优化索引配置(仅对新写入的日志生效),详细操作请参考创建LTS日志索引。在“索引配置”页面保持默认设置,直接单击“跳过并提交”,界面提示“日志接入成功”。
- 若您需要通过特定字段进行查询或分析,接入时请在“索引配置”页面参考创建LTS日志索引配置索引。
您可以单击“自动配置”,云日志服务LTS会根据近15分钟的第一条日志内容或常见内置保留字段(例如hostIP、hostName、pathFile)自动生成字段索引。或者手动添加字段,只能添加已结构化的字段。设置完成后,单击“提交”,界面提示“日志接入成功”。日志接入成功后,您仍可以根据业务需求随时调整索引配置(仅对新写入的日志生效)。
步骤5:完成接入配置
接入成功后会生成一条接入配置信息。

- 单击接入配置名称可进入详情页面,查看该接入配置详细信息。
- 单击接入配置操作列的“修改”重新修改接入配置信息。
- 单击接入配置操作列的“标签管理”即可添加标签。
- 单击接入配置操作列的“更多 > 复制”复制一条新的接入配置信息。
- 单击接入配置操作列的“更多 > 删除”即可删除接入配置信息。
删除接入配置后会导致日志无法正常采集,可能会影响用户日志相关业务异常,且删除后无法恢复,请谨慎操作。
- 若不需要采集日志,关闭“接入配置开关”列的开关。若需要重新采集日志,需要重新开启“接入配置开关”列的开关。
关闭接入配置后会导致日志无法正常采集,可能会影响用户日志相关业务异常,请谨慎操作。
- 单击接入配置操作列的“更多 > ICAgent采集诊断”,可查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控。如果没有显示该功能,请参考设置ICAgent日志采集开关开启“ICAgent诊断开关”。
批量设置多个接入配置
支持同时批量设置多个接入配置,操作简单,不用重复配置即可快速完成多个场景的接入配置。
- 在“接入管理”页面,单击“批量创建”,进入配置详情页面。
- 接入类型:选择裸金属服务BMS-文本日志。
- 规则列表:
- 在输入框填写接入配置数量,单击“添加接入配置”。
- 在右侧配置项下方自定义填写“规则名称”,配置项设置完成后,也可以双击左侧接入配置的名称自定义命名。规则名称只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。
- 鼠标放在接入配置上面,单击
即可直接复制接入配置。
- 鼠标放在接入配置上面,单击
,在弹出的提示框单击“确定”删除接入配置。
- 配置项:
- 左侧显示接入配置的信息,最多支持添加99个配置。
- 右侧显示配置接入的内容,详细请参考步骤3:采集配置进行设置。
- 一个接入配置设置完成后,单击“应用于其他接入配置”即可将该接入配置复制到其他接入配置。
- 单击“参数检查”,检查成功后,单击“提交”,批量接入设置完成。
例如添加了4个接入配置,批量创建成功后,在“接入管理”下方,就会显示4条接入配置任务。
- (可选)支持对接入配置任务进行以下操作:
- 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。
- 勾选多个接入配置开关显示关闭的接入配置,单击“接入配置开启/关闭”,选择“开启”即可批量开启接入配置任务。
- 勾选多个接入配置开关显示开启的接入配置,单击“接入配置开启/关闭”,选择“关闭”。接入配置状态关闭后不会继续采集日志,请谨慎操作。
- 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
添加接入配置标签
支持对已创建的接入配置任务添加标签,每个标签由“标签键”和“标签值”组成,用于快速识别、检索和管理接入配置任务。添加、修改、删除标签仅对当前接入配置有效。
- 左侧导航栏选择“日志接入 > 接入管理”,进入“接入管理”页面。
- 单击目标接入配置操作列的“更多 > 标签管理”。
- 在弹出的编辑标签页面,单击“添加”,填写标签键和标签值。如需添加多个标签可重复该步骤,最多支持添加20个标签。
图6 接入配置编辑标签
标签键key限制条件:
- 标签键可以包含任意语种的字母、数字和空格,以及_.:=+-@字符,但首尾不能包含空格,且不能以_sys_开头。
- 标签键长度不能超过128个字符。
- 标签键名称不可重复。
标签值value限制条件:
- 标签值可以包含任意语种的字母、数字和空格,以及_.:=+-@字符。
- 标签值长度不能超过255个字符。
标签策略:
若您的组织已经设定云日志服务的相关标签策略,则需按照标签策略规则为日志组、日志流、日志接入、主机组添加标签。标签如果不符合标签策略的规则,则可能会导致日志组、日志流、日志接入、主机组创建失败,请联系组织管理员了解标签策略详情。标签策略详细介绍请参考标签策略概述,标签管理详细介绍请参考标签管理。
删除标签:
如需删除标签,在“编辑标签”页面单击标签操作列的“删除”。
如果配置转储时使用了该标签,删除标签后,请同步修改转储配置信息。
- 单击“确定”,接入配置的标签添加完成。在接入配置列表的“标签”列可以查看接入配置已添加的标签。
图7 接入标签