公网采集 适用于采集云平台主机。目前支持的源端云平台为：阿里云、华为云、AWS、腾讯云、Azure。 本节介绍简单项目的公网采集步骤，复杂项目的公网采集步骤请参见创建公网采集任务。 通过公网采集的主机，需要迁移预检查通过或深度采集成功后，才可以创建迁移工作流。 前提条件 已在源端

查看更多 →

“日志采集开关”默认打开，当不需要采集日志时，可关闭采集开关来停止日志采集，以减少资源占用。 “日志采集开关”关闭后，ICAgent将停止采集日志数据，且 云日志服务LTS 控制台的“ICAgent采集开关”也将同步关闭，请谨慎操作。 图1 日志采集开关 父主题： 日志配置

查看更多 →

数据采集 数据采集概述 组件管理 采集管理 升级组件控制器 父主题： 设置

查看更多 →

日志采集 “日志采集”处理器用于自定义日志信息，并显示在当前任务的运行日志中（日志级别为Debug）。 配置参数 基本配置 参数 说明 日志信息 设置日志内容，可使用常量，也可通过变量的方式引用前序步骤中的数据，具体请参考引用变量。 图1 日志采集 父主题： 处理器

查看更多 →

采集设置 概述 UniAgent 安装与配置 CCE接入 管理主机组 管理主机组（新版） 代理区域管理 操作日志 父主题： 设置

查看更多 →

transferID 是 String 本次采集任务的ID。 fileContent 是 byte[] 上传文件的字节。 sliceFileOrder 是 int 本次分片的顺序。 totalFileCount 是 int 本次采集的文件个数。 响应 响应样例 {"success":true

查看更多 →

编辑完成后，在上方选择“采集通道管理”页签，并单击目标采集通道操作列的“重启”，重启采集通道。 图9 重启采集通道 检查采集通道和采集节点状态。 重启完成后，在“采集通道管理”页面中，检查目标采集通道的健康状态。 图10 采集通道健康状态 在上方选择“采集节点管理”页签，页面，检查目标采集节点的健康状态。

查看更多 →

场景说明 日志接入 采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 本实践主要介绍将阿里云主机日志采集到华为云LTS的操作步骤，互联网数据中心和华为云上跨Region采集日志的操作方式与采集阿里云主机日志的方式类似。 日志接入 采集第三方云厂商、互联网

查看更多 →

创建结构化配置（推荐） 功能介绍 该接口通过结构化模板创建结构化配置，便于参数提取且简化参数结构，推荐您使用。 单个用户每秒仅能调用1次该接口。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/lts/struct/template 表1 路径参数

查看更多 →

敏感数据识别 数据自动分级分类：在AI和专家知识库的双重加权下，精准识别敏感数据和文件，覆盖结构化（RDS）和非结构化（OBS）两种数据类型，实现云上全场景覆盖。 文件类型：支持近200种非结构化文件。 数据类型：支持数十种个人隐私数据类型，包含中英文。 图片类型：支持识别（png

查看更多 →

例运行状况。 2019-11-13 日志采集规则修改：指定日志采集文件名时不受日志文件扩展名（.log、.trace和.out）限制；被采集日志文件必须为文本文件。 2019-8-30 容器指标增加对“文件系统可用”“文件系统容量”和“文件系统使用率”的支持。 主机和容器指标增加对NPU指标的支持。

查看更多 →

说明 资源类型 文件：非结构化的数据资源，当前支持xlsx、pdf、xls、ppt、pptx、doc、dot、docx、jpeg、jpg、png、gif、bmp、ftp、obs等类型文件。 数据集：结构化的数据资源，当前支持上传 CS V、API、DB格式的数据文件。 资源数量 定义

查看更多 →

创建采集任务（采集Agent方式） 使用采集Agent场景需要用户在自己的网络区域安装采集Agent，保证和数据源网络可以正常通信。 安装采集Agent的方法请参考安装采集Agent。 气象数据不支持采集Agent方式。 支持的协议类型为：sftp、ftps、restful、co

查看更多 →

Nginx：通过log_format指令来自定义访问日志的格式。 结构化模板：通过自定义模板或系统内置模板提取字段。 云端结构化解析配置完成后，支持修改或删除结构化配置。 在云端结构化解析页面中，单击，修改结构化配置。 在云端结构化解析页面中，单击，删除结构化配置。 结构化配置删除后，将无法恢复，请谨慎操作。

查看更多 →

Nginx：通过log_format指令来自定义访问日志的格式。 结构化模板：通过自定义模板或系统内置模板提取字段。 云端结构化解析配置完成后，支持修改或删除结构化配置。 在云端结构化解析页面中，单击，修改结构化配置。 在云端结构化解析页面中，单击，删除结构化配置。 结构化配置删除后，将无法恢复，请谨慎操作。

查看更多 →

修改结构化配置（推荐） 功能介绍 该接口通过结构化模板修改结构化配置 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/lts/struct/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

的地时，数据从Channel移除。 Channel提供的持久化水平与Channel的类型相关，有以下三类： Memory Channel：非持久化。 File Channel：基于WAL（预写式日志Write-Ahead Logging）的持久化实现。 JDBC Channel：基于嵌入Database的持久化实现。

查看更多 →

安装采集Agent 介绍如何安装采集Agent。 操作步骤 执行以下命令，在“NAIE_Collector_20.5.1_Linux_x64”路径下安装采集Agent。 cd NAIE_Collector_20.5.1_Linux_x64 执行如下命令： ./Install.sh

查看更多 →

采集任务的调度频率选择 图4 部署采集任务 图5 编辑采集任务 图6 修改采集任务 未部署的采集任务才可以编辑 采集任务重新部署：部署失败的采集任务可以进行重新部署。 图7 采集子任务-1 图8 采集子任务-2 子任务重新部署 部署失败的子任务可以重新进行部署。 图9 子任务重新调度

查看更多 →

库表采集 左侧导航栏依次选择单击资源管理、库表管理、采集元数据，配置所需要的数据源表， 并依照数据标准规范，合理命名元数据名称，以及代码等项，将采集到的数据资源进行复制至部门资源库，找到部门资源库对应库表物化库表资源，最后通过数据桥接同步对应库表数据。 采集元数据： 图1 采集 复制元数据：

查看更多 →

配置采集模板 配置指令式采集模板 父主题： 质量管理

查看更多 →