# 使用ICAgent插件采集AICS文本日志到LTS #### 操作场景 云日志服务（Log Tank Service，LTS）提供一站式的日志数据解决方案，支持日志的采集、日志存储、搜索分析、日志加工、可视化仪表盘、日志告警等功能。LTS提供稳定可靠的服务，您可无需关注扩缩容等资源问题，同时降低了日志运维门槛，帮助您提高问题定位和指标监控的效率。 使用ICAgent插件采集AICS文本日志到LTS，首先需要在采集日志的节点上安装ICAgent插件；然后创建用于存放文本日志的日志组和日志流；其次配置文本日志接入LTS，待日志成功上报到LTS后，即可在LTS控制台查看上报的实时日志。 #### 前提条件 - 为用户添加云日志服务LTS的操作权限。 您需要有LTS的管理员权限"LTS FullAccess"，具体操作请参考[授权IAM用户使用LTS](https://support.huaweicloud.com/usermanual-lts/lts_04_0015.html)。 - 准备好需要采集日志的节点。 #### 操作步骤 **步骤一：安装ICAgent** ICAgent是云日志服务的日志采集工具，运行在需要采集日志的云主机中。首次使用云日志服务采集主机的日志时，需要安装ICAgent。同一台主机安装ICAgent成功后，后续采集日志时无需重复安装ICAgent。 1. 登录[云日志服务控制台](https://console.huaweicloud.com/lts/)。 2. 在左侧导航栏选择"主机管理 \> 主机"，进入"主机"页面。 3. 单击右上角"安装ICAgent"，进入"安装ICAgent"页面，请参考[表1]设置参数。 安装ICAgent前，请确保本地浏览器的时间、时区与主机的时间、时区一致。 图1安装ICAgent ![](https://support.huaweicloud.com/usermanual-aics/zh-cn_image_0000002723847416.png) 表1安装ICAgent | 参数 | 说明 | |:---|:---| | 主机类型 | 默认选择区域内主机。确认需要采集日志的机器是在区域内还是区域外。 区域内主机就是用户登录云日志服务控制台所在region区，例如北京四。 | | 安装系统 | 默认选择Linux。 | | 安装方式 | 默认选择获取AK/SK凭证。详细操作请参考[如何获取访问密钥AK/SK](https://support.huaweicloud.com/iam_faq/iam_01_0618.html)。 | 4. 在"安装ICAgent"页面，单击"复制命令"，复制ICAgent安装命令。 图2复制命令 ![](https://support.huaweicloud.com/usermanual-aics/zh-cn_image_0000002753287291.png) 5. 登录节点。详细操作请参考[通过控制台VNC登录子节点](https://support.huaweicloud.com/usermanual-aics/aics_03_0405.html)。 6. 节点登录成功后，执行ICAgent安装命令进行安装，并根据提示输入已获取到的AK/SK（若复制命令时手动替换了AK/SK，则系统不会再提示输入AK/SK）。 7. 当显示"ICAgent install success"时，表示安装成功，ICAgent已安装在了/opt/oss/servicemgr/目录。 图3安装回显 ![](https://support.huaweicloud.com/usermanual-aics/zh-cn_image_0000002723687516.png) 8. 安装成功后，在云日志服务左侧导航栏中选择"主机管理 \> 主机"，查看该节点ICAgent的状态显示"运行"。 图4主机 ![](https://support.huaweicloud.com/usermanual-aics/zh-cn_image_0000002753447191.png) 9. 创建主机组，并将已安装ICAgent的节点加入主机组。 1. 在云日志服务左侧导航栏中选择"主机管理 \> 主机组"。 2. 在主机组页面，单击"新建主机组"，在弹出的新建主机组页面创建新的主机组，参考[表2]完成主机组创建。 图5新建主机组 ![](https://support.huaweicloud.com/usermanual-aics/zh-cn_image_0000002723847418.png) 表2新建主机组 | 参数 | 说明 | 示例 | |:---|:---|:---| | 主机组名称 | 自定义设置。只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。 | AICS_test | | 主机组类型 | 默认选择IP。 创建IP地址的主机组类型：在主机组中添加服务器的IP地址，通过IP地址识别服务器。 | IP | | 主机类型 | 默认选择Linux主机。此处的主机类型与[步骤10]中安装的保持一致。 | Linux主机 | | 备注 | 自定义填写主机组描述信息，字符长度0-1024个字符。 | - | | 添加主机 | 在主机列表下方选择勾选已安装ICAgent的主机。请以实际环境中的主机信息为准。 | AICS-test-lts | 3. 设置完成后，单击"确定"。 **步骤二：创建日志组和日志流** 1. 登录[云日志服务控制台](https://console.huaweicloud.com/lts/)。 2. 在"日志管理"页面，单击"创建日志组"，参考[表3]填写日志组相关信息。 图6创建日志组 ![](https://support.huaweicloud.com/usermanual-aics/zh-cn_image_0000002708185868.png) 表3参数说明 | 参数 | 说明 | 示例 | |:---|:---|:---| | 日志组名称 | - 日志组名称只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。 - 日志采集后，将发送到对应的日志组中的日志流，如果日志较多，需要分门别类，建议您给日志组做好命名，方便后续快速查找日志。 | lts-group-AICS | | 企业项目 | 选择业务需要的企业项目，默认为default。 | default | | 日志存储时间(天) | 日志组的存储时间，即日志上报到LTS后日志存储的时间。 日志数据默认存储30天，可以在1\~365天之间设置。 云日志服务LTS根据配置的日志存储时间定时清理日志内容，例如日志存储时间为30天，上报到LTS的日志只保存30天，30天后开始删除日志内容。 | 30 | | 标签 | 按照业务需求对不同的日志组添加对应的标签。本示例可不设置。 | - | | 备注 | 自定义填写备注信息，字符长度0-1024个字符。本示例可不填写。 | - | 3. 单击"确定"，日志组创建成功，即可在日志组列表下方生成一条日志组信息。 4. 单击目标日志组名称对应的![](https://support.huaweicloud.com/usermanual-aics/zh-cn_image_0000002753287293.png)。 5. 单击"创建日志流"，在"创建日志流"页面中，参考[表4]填写日志流相关信息。 图7创建日志流 ![](https://support.huaweicloud.com/usermanual-aics/zh-cn_image_0000002708036440.png) 表4参数说明 | 参数 | 说明 | 示例 | |:---|:---|:---| | 日志组名称 | 默认显示目标日志组名称。 | - | | 日志流名称 | - 日志流名称只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。 - 日志采集后，以日志流为单位，将多条日志数据发往云日志服务。如果日志较多，需要分门别类，建议您创建多个日志流，并给日志流做好命名，方便后续快速查找日志。 | lts-topic-AICS | | 企业项目 | 选择业务需要的企业项目，默认为default。 | default | | 日志存储 | 开启日志存储：日志将会被存入搜索引擎，能使用日志全量功能。 需要开启日志存储，才能开启日志存储时间。 | 开启 | | 日志存储时间(天) | 日志流的存储时间，即日志上报到LTS后日志存储的时间。 日志数据默认存储30天，可以在1\~365天之间设置。 - 打开日志流的"日志存储时间"开关：日志的存储时间使用日志流设置的日志存储时间。 - 云日志服务LTS根据配置的日志存储时间定时清理日志内容，例如日志存储时间为30天，上报到LTS的日志只保存30天，30天后开始删除日志内容。 | 30 | | 匿名写入 | 匿名写入默认关闭，本示例默认关闭。 匿名写入适用于安卓/iOS/小程序/浏览器端上报日志。 | 关闭 | | 标签 | 按照业务需求对不同的日志组添加对应的标签。本示例可不添加。 | - | | 备注 | 自定义填写备注信息，字符长度0-1024个字符。本示例可不填写。 | - | 6. 单击"确定"。 7. 日志流创建成功，即可在目标日志组下方生成一条日志流信息。 **步骤三：节点接入日志** ICAgent安装完成后，需要将主机待采集日志的路径配置到目标日志流中，ICAgent会将多条日志进行打包，以日志流为单位发往云日志服务。 1. 在云日志服务控制台的左侧导航栏中，选择"日志接入 \> 接入中心"，在类型下方选择"运行环境"或"云服务"，鼠标悬浮在ECS卡片上，单击"接入日志（LTS）"进入配置页面。 2. 进入选择日志流页面。 1. 单击"所属日志组"后的目标框，在下拉列表中选择具体的日志组（例如lts-group-AICS）。 2. 单击"所属日志流"后的目标框，在下拉列表中选择具体的日志流（例如lts-topic-AICS）。 3. 单击"下一步：选择主机组（可选）"。 3. 选择需要采集日志的主机组，例如步骤一中创建的主机组AICS_test。 4. 单击"下一步：采集配置"。 5. 采集配置，参考[表5]对主机日志采集设置具体的采集规则。 图8采集配置 ![](https://support.huaweicloud.com/usermanual-aics/zh-cn_image_0000002723687518.png) 表5采集配置 | 参数 | 说明 | 示例 | |:---|:---|:---| | 采集配置名称 | 自定义设置，只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。 | AICS_test | | 路径配置 | 添加您需要收集的日志路径，LTS将按照配置的路径进行日志采集。 例如采集路径配置为/var/logs/\*\*/a.log，日志匹配如下： ``` /var/logs/1/a.log /var/logs/1/2/a.log /var/logs/1/2/3/a.log /var/logs/1/2/3/4/a.log /var/logs/1/2/3/4/5/a.log ``` - 以上示例中的/1/2/3/4/5/，表示/var/logs目录中，往里递归的5个目录层级，在这5个目录层级中只要存在a.log，都能进行日志匹配。 - 采集路径中只能出现一次\*\*，不能出现两个及以上。正确示例：/var/logs/\*\*/a.log；错误示例：/opt/test/\*\*/log/\*\*。 - 采集路径中第一个层级不允许为\*\*（避免误采集系统文件），错误示例：/\*\*/test。 | /var/logs/\*\*/a.log | | 允许文件多次采集 | 暂不支持Windows场景。 开启"允许文件多次采集"后，同一主机下的同一日志文件支持被采集到多个日志流。 | 开启 | | 设置采集黑名单 | 黑名单配置可在采集时忽略指定的目录或文件，目录和文件名支持完整匹配，也支持通配符模式匹配。指定按目录过滤，可过滤掉该目录下的所有文件。Windows主机不支持设置采集黑名单。 本示例默认关闭，采集所有文件。 | 关闭 | | 采集Windows事件日志 | 本示例是Linux主机，默认关闭。 | 关闭 | | 结构化解析配置 | 开启结构化解析配置，日志结构化解析规则选择单行-全文日志。更多规则请参考[ICAgent结构化解析规则说明](https://support.huaweicloud.com/usermanual-lts/lts_07_0072.html)。 | 开启 | | 最大目录深度 | 该参数用于控制日志采集路径使用\*\*模糊匹配的文件目录层级，LTS支持设置最大目录层级为20层。 例如您的日志路径为/var/logs/department/app/a.log，采集路径配置为：/var/logs/\*\*/a.log，最大目录深度设置为5。 | 20 | | 日志拆分 | 用于拆分单行日志，本示例开启"日志拆分"开关。支持自定义设置日志拆分大小，设置范围为500KB-1024KB。 当日志大小超过500KB时，打开"日志拆分"开关，则单行日志会被拆分为多行采集。例如：日志大小为600KB，被拆分为2行日志采集，第一行500KB，第二行100KB。 | 开启 | | 采集二进制文件 | 用于对接入的二进制文件日志进行采集，本示例开启"采集二进制文件"开关。 您可以通过命令（file -i *文件名*）查看文件类型，如果包含charset=binary，那么该日志文件就是二进制文件。 打开"采集二进制文件"开关，则对接入的二进制文件日志进行采集，但仅支持UTF-8、GBK编码的字符串，非UTF-8、GBK编码的字符在LTS控制台页面会显示乱码。 | 开启 | | 日志文件编码 | 日志文件编码为UTF-8。 | - | | 采集策略 | 本示例采集策略选择增量。 增量采集：ICAgent采集新文件时，从文件的末尾开始读。 | - | | 自定义元数据 | 本示例默认关闭自定义元数据，ICAgent会根据系统默认的内置字段和自定义键值对上传LTS。 | - | | 日志格式 | 若开启"结构化解析配置"不用设置该参数。用于设置采集日志上报LTS后显示格式，本示例选择"单行日志"。 单行日志：采集的日志文件中，如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据，则选择单行日志。 | 单行日志 | | 日志时间 | 若开启"结构化解析配置"不用设置该参数。用于设置每条日志的行首显示日志的采集时间，本示例开启"系统时间"开关。 系统时间：表示系统当前时间，默认为日志采集时间，每条日志的行首显示日志的采集时间。 | 系统时间 | 6. 单击"下一步：索引配置"，进入索引配置页面，按照界面默认参数配置即可，通过配置索引后，可对日志进行查询和分析操作。更多信息请参考[设置LTS日志索引配置](https://support.huaweicloud.com/usermanual-lts/lts_05_0008.html)。 图9索引配置 ![](https://support.huaweicloud.com/usermanual-aics/zh-cn_image_0000002770297440.png) - 全文索引：开启后可设置全文索引。 - 日志分析：开启后配置的字段索引支持SQL可视化分析。 - 字段索引：云日志服务LTS默认为部分内置保留字段创建字段索引，例如hostIP、hostName、pathFile字段。更多内置保留字段请参考[设置LTS日志索引配置](https://support.huaweicloud.com/usermanual-lts/lts_05_0008.html)。 7. 单击"提交"，日志接入成功，可以单击"返回接入配置列表"查看日志接入，在接入管理页面，则会生成一条接入配置信息。 **步骤四：查看实时日志** 完成日志接入配置后，可以在云日志服务控制台实时查看上报的日志。 如果您正在使用实时查看功能，请停留在实时查看页面，请勿切换页面。如果您离开实时查看页面，实时查看功能将会被关闭。 1. 在"接入管理"页面，单击目标日志接入任务"所属日志流"列的日志流名称，即可进入日志流详情页。 2. 单击"实时日志"页签，查看实时日志。 日志大约每隔5秒钟上报一次，在日志消息区域，您最多需要等待5秒钟左右，即可查看实时上报的日志。 图10实时日志 ![](https://support.huaweicloud.com/usermanual-aics/zh-cn_image_0000002723847420.png)