查看LTS实时日志 日志接入云日志服务后，每隔大约1分钟上报一次。因此，在实时日志页面，您最多需要等待1分钟左右，即可查看实时上报的日志，实现对日志数据的快速检索与分析。 若实时日志大于1MB且总数小于2000条时时，LTS会清空前500KB的日志，保留最新的500KB日志。 若实

查看更多 →

下载构建实时日志 功能介绍 下载构建实时日志 调用方法 请参见如何调用API。 URI GET /v3/jobs/{job_id}/{build_no}/real-time-log 表1 路径参数 参数 是否必选 参数类型 描述 job_id 是 String 参数解释： 填写构

查看更多 →

函数+LTS：日志实时过滤 案例概述 准备 构建程序 添加事件源 处理结果 应用扩展

查看更多 →

查看LTS实时日志 日志接入云日志服务后，每隔大约1分钟上报一次。因此，在实时日志页面，您最多需要等待1分钟左右，即可查看实时上报的日志，实现对日志数据的快速检索与分析。 若实时日志大于1MB且总数小于2000条时时，LTS会清空前500KB的日志，保留最新的500KB日志。 若实

查看更多 →

使用Flume服务端从本地采集动态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本章节适用于 MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使

查看更多 →

查看Flume客户端监控信息 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过 FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。

查看更多 →

查看Flume客户端监控信息 操作场景 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。

查看更多 →

配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题： 使用Flume

查看更多 →

航栏中选择“日志中心”。 选择“控制面组件日志”页签，单击右上角“配置控制面组件日志”，在“配置控制面组件日志”中修改日志配置。 图5 关闭控制面组件日志 选择是否开启各个组件日志，并单击“确定”。 关闭集群控制面组件日志后，原有的日志流将不再更新日志，但已有的日志不会被删除，因此可能会产生LTS日志费用。

查看更多 →

云原生日志采集 插件介绍 云原生日志采集插件（log-agent）是基于开源fluent-bit和opentelemetry构建的云原生日志、K8s事件采集插件。log-agent支持基于CRD的日志采集策略，可以根据您配置的策略规则，对集群中的容器标准输出日志、容器文件日志、节点

查看更多 →

配置Flume加密传输数据采集任务 使用多级agent串联从本地采集静态日志保存到HDFS 父主题： 使用Flume

查看更多 →

查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下： flume-client-1/flume: total 7672

查看更多 →

查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下： flume-client-1/flume: total 7672

查看更多 →

查询采集任务日志 功能介绍 查询采集任务日志。 URI URI格式 POST /softcomai/datalake/collection/v1.0/service/task/{taskId}/logCheck 参数说明 参数名 是否必选 参数类型 备注 taskId 是 String

查看更多 →

采集Kubernetes审计日志 集群支持对用户开放集群Master节点的日志信息。您可以在“日志中心”页面的“控制面审计日志”页签选择是否上报Kubernetes审计日志到云日志服务（LTS）。 约束与限制 如您需要查看集群Kubernetes审计日志，集群必须为v1.21.7-r0及以上补丁版本、v1

查看更多 →

日志存储时间(天) 日志流的存储时间，即日志上报到LTS后日志存储的时间。 日志数据默认存储30天，可以在1~365天之间设置。 打开日志流的“日志存储时间”：日志的存储时间使用日志流设置的日志存储时间。 关闭日志流的“日志存储时间”：日志的存储时间使用日志组设置的日志存储时间。 智能冷存储

查看更多 →

预警。 采集开关默认打开，当您不需要采集日志时，可通过关闭采集开关来停止日志采集，以减少资源占用。 日志采集关闭后，ICAgent会停止采集日志，且在应用运维管理AOM控制台的“日志采集开关”也会同步关闭。 介绍视频 数据来源 支持上报到LTS的日志数据来源如下表1所示。 表1 数据来源

查看更多 →

日志接入 采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 采集Syslog汇聚 服务器 日志到LTS 将自建ELK日志导入云日志服务LTS 基于VPN打通网络实现API或SDK跨云上报日志到LTS

查看更多 →

日志接入 日志接入概述 使用ICAgent插件采集日志 使用云服务接入LTS 使用API接入LTS 使用SDK接入LTS 跨IAM账号接入LTS 使用KAFKA协议上报日志到LTS 使用Flume采集器上报日志到LTS 使用匿名写入采集日志 自建中间件

查看更多 →

Petabase数据库依赖的驱动，未防止jar包冲突建议采用外挂驱动的方式 hbase所需依赖.rar 缘采集节点flume\lib 边缘采集需要的hbase依赖 hdfs所需依赖.rar 缘采集节点flume\lib 边缘采集需要的hdfs依赖 hive&impala.zip 外挂驱动：服务器任意目录 内置驱动：war包\lib

查看更多 →

ALM-24001 Flume Agent异常（2.x及以前版本） 告警解释 Flume Agent监控模块对Flume Agent状态进行监控，当Flume Agent进程故障时，系统产生此告警。 当检测到Flume Agent进程故障恢复，且告警处理完成时，告警恢复。 告警属性

查看更多 →