日志采集 “日志采集”处理器用于自定义日志信息，并显示在当前任务的运行日志中（日志级别为Debug）。 配置参数 参数 说明 日志信息 设置日志内容，可使用常量，也可通过变量的方式引用前序步骤中的数据，具体请参考引用变量。 父主题： 处理器

查看更多 →

日志采集 “日志采集”处理器用于自定义日志信息，并显示在当前任务的运行日志中（日志级别为Debug）。 配置参数 基本配置 参数 说明 日志信息 设置日志内容，可使用常量，也可通过变量的方式引用前序步骤中的数据，具体请参考引用变量。 图1 日志采集 父主题： 处理器

查看更多 →

Pod日志采集 本章节将介绍在Pod内进行日志采集，允许用户通过配置容器内自定义路径下的日志文件来采集日志，并通过自定义策略处理，上报到用户kafka日志中心。 资源限制 建议您为Fluent Bit预留50MB的内存。 约束与限制 当前不支持容器中软链路径的日志采集。 当前不支持容器标准输出采集上报到kafka。

查看更多 →

DSC上次与实例建立连接的时间。 数据流转日志采集状态 单击打开流转日志采集开关，进行日志采集。 单击打开流转日志采集开关，开通日志采集。“实例状态”为“开通中”正在开通采集，“实例状态”为“运行中”证明开启采集成功。 单击左上角“批量开通流转采集”批量开通日志流转采集。 关闭流转采集 登录管理控制台。

查看更多 →

日志采集类 日志出现重复/丢失的原因

查看更多 →

日志存在一条完整日志跨占多行的情况下，如果需要采集显示整条日志，您可以设置“日志格式”，开启多行日志。 单行日志：系统默认按行采集日志。 多行日志：多行合并为一行，系统按设置的匹配规则采集日志，不满足匹配规则的日志行会与上一次满足匹配规则的日志行合并为一行。 选择“日志时间”表示采用时间匹配方式。

查看更多 →

容器日志采集配置 添加自定义标签字段 标准输出配置 父主题： 日志管理

查看更多 →

上报到云日志服务(LTS) 用于配置日志上报的日志组和日志流。 使用默认日志组/日志流：将为您自动选择默认日志组（k8s-log-{集群ID}）和默认的日志流（stdout-{集群ID}）。 自定义日志组/日志流：可在下拉框选择任意日志组和日志流。 日志组：云日志服务进行日志管理的

查看更多 →

配置日志采集路径 配置容器服务日志采集路径 配置虚机日志采集路径 父主题： 资源接入AOM

查看更多 →

在详情中查看触发事件的具体信息，包括具体Schema名称、日志采集数量、日志采集状态等信息。 图1 采集日志详情 Schema：具体Schema名称； DDL对象数量：该Schema下采集对象的数量； 状态：日志采集状态。 父主题： 数据库评估

查看更多 →

管理采集机（用户） 支持采集机的升级采集机、下载采集机日志、删除采集机。 前提条件 登录用户为具有“Data Acquisition Engineer”角色的用户。 操作步骤 在数据服务左侧导航，选择“工具箱>数据接入>采集机管理”。 进入“采集机管理”界面，以列表方式展示采集机及其详细信息。

查看更多 →

管理采集机（用户） 获取采集机升级参数 升级采集机（数据面） 升级采集机（控制面） 获取采集机升级信息 下载采集机日志（数据面） 下载采集机日志（控制面） 查询采集机分页 查询所有采集机 删除采集机 父主题： 数据接入

查看更多 →

云原生日志采集 插件介绍 云原生日志采集插件（log-agent）是基于开源fluent-bit和opentelemetry构建的云原生日志、K8s事件采集插件。log-agent支持基于CRD的日志采集策略，可以根据您配置的策略规则，对集群中的容器标准输出日志、容器文件日志、节点

查看更多 →

通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多

查看更多 →

，请参见LTS用户指南。 图3 查看控制面组件日志 通过LTS控制台查看目标集群控制面组件日志 登录LTS控制台，选择“日志管理”页面。 通过集群ID查到对应的日志组，单击该日志组名称，查看日志流，详情请参见LTS用户指南。 图4 通过LTS控制台查看控制面组件日志 关闭集群控制面组件日志

查看更多 →

查询采集任务日志 功能介绍 查询采集任务日志。 URI URI格式 POST /softcomai/datalake/collection/v1.0/service/task/{taskId}/logCheck 参数说明 参数名 是否必选 参数类型 备注 taskId 是 String

查看更多 →

通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多

查看更多 →

采集Kubernetes审计日志 集群支持对用户开放集群Master节点的日志信息。您可以在“日志中心”页面的“控制面审计日志”页签选择是否上报Kubernetes审计日志到云日志服务（LTS）。 约束与限制 如您需要查看集群Kubernetes审计日志，集群必须为v1.21.7-r0及以上补丁版本、v1

查看更多 →

日志存储时间(天) 日志流的存储时间，即日志上报到LTS后日志存储的时间。 日志数据默认存储30天，可以在1~365天之间设置。 打开日志流的“日志存储时间”：日志的存储时间使用日志流设置的日志存储时间。 关闭日志流的“日志存储时间”：日志的存储时间使用日志组设置的日志存储时间。 智能冷存储

查看更多 →

下载采集机日志（控制面） 功能介绍 下载对应采集机上的采集机日志。 URI URI格式 POST /softcomai/datalake/collection/v1.0/service/task/collectorLog/{collectorId} 参数说明 无。 请求 请求样例

查看更多 →

云原生日志采集插件 插件简介 云原生日志采集插件（log-agent）是基于开源fluent-bit和opentelemetry构建的云原生日志、K8s事件采集插件。log-agent支持基于CRD的日志采集策略，可以根据您配置的策略规则，对集群中的容器标准输出日志、容器文件日志及K

查看更多 →