使用Flume服务端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于 MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传

查看更多 →

使用Flume客户端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使

查看更多 →

使用Flume服务端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密

查看更多 →

配置Flume加密传输数据采集任务 使用多级agent串联从本地采集静态日志保存到HDFS 父主题： 使用Flume

查看更多 →

查看Flume客户端监控信息 操作场景 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过 FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。

查看更多 →

查看Flume客户端监控信息 操作场景 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。

查看更多 →

查询采集任务日志 功能介绍 查询采集任务日志。 URI URI格式 POST /softcomai/datalake/collection/v1.0/service/task/{taskId}/logCheck 参数说明 参数名 是否必选 参数类型 备注 taskId 是 String

查看更多 →

日志接入 日志接入概述 使用ICAgent插件采集日志 使用云服务接入LTS 使用API接入LTS 使用SDK接入LTS 跨IAM账号接入LTS 使用KAFKA协议上报日志到LTS 使用Flume采集器上报日志到LTS

查看更多 →

ALM-24001 Flume Agent异常（2.x及以前版本） 告警解释 Flume Agent监控模块对Flume Agent状态进行监控，当Flume Agent进程故障时，系统产生此告警。 当检测到Flume Agent进程故障恢复，且告警处理完成时，告警恢复。 告警属性

查看更多 →

AOM展示的日志是否为实时日志？ AOM展示的日志为近实时日志，日志存在秒级时延。 日志从采集上报到处理需要一定的时间，日志量较小时日志会存在10秒左右的时延，日志量特别大时时延会久些。 父主题： 日志分析

查看更多 →

AOM展示的日志为近实时日志，日志存在秒级时延。日志从采集上报到处理需要一定的时间，日志量较小时日志会存在10秒左右的时延，日志量特别大时时延会久些。

查看更多 →

Petabase数据库依赖的驱动，未防止jar包冲突建议采用外挂驱动的方式 hbase所需依赖.rar 缘采集节点flume\lib 边缘采集需要的hbase依赖 hdfs所需依赖.rar 缘采集节点flume\lib 边缘采集需要的hdfs依赖 hive&impala.zip 外挂驱动： 服务器 任意目录 内置驱动：war包\lib

查看更多 →

查看Flume客户端日志 操作场景 查看日志以便定位问题。 前提条件 Flume客户端已经正确安装。 操作步骤 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下：

查看更多 →

查看Flume客户端日志 操作场景 查看日志以便定位问题。 前提条件 Flume客户端已经正确安装。 操作步骤 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下：

查看更多 →

下载采集机日志（数据面） 功能介绍 下载对应采集机上的采集机日志。 URI URI格式 GET /softcomai/datalake/collection/v1.0/download/collectorLog/{collectorId} 参数说明 无。 请求 请求样例 GET

查看更多 →

4。 表4 日志存储位置说明 日志存储位置 支持的日志类型 使用说明 LTS 容器标准输出日志 容器文件日志 节点日志 Kubernetes事件 请前往日志中心创建策略，具体配置方法请参见通过云原生日志采集插件采集容器日志。 AOM Kubernetes事件 当集群版本为1.19

查看更多 →

对系统的影响 如果数据源有数据，Flume Source持续读取不到数据，数据采集会停止。 可能原因 Flume Source故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Source是否故障。 确认Flume Source是否是spooldir类型。

查看更多 →

使用多级agent串联从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。

查看更多 →

下载采集机日志（控制面） 功能介绍 下载对应采集机上的采集机日志。 URI URI格式 POST /softcomai/datalake/collection/v1.0/service/task/collectorLog/{collectorId} 参数说明 无。 请求 请求样例

查看更多 →

查看虚机日志 日志采集路径配置成功后，若已配置的路径下存在日志文件，则ICAgent会从已配置的路径中采集日志文件，采集大概需要1分钟，请您耐心等待。待采集完成后，您可执行如下操作： 查看虚机日志文件 在左侧导航栏中选择“日志分析 > 日志文件”，单击“主机”页签，查看采集到的日志文件。详细操作请参见查看日志文件。

查看更多 →

查询错误日志采集开关状态 功能介绍 查询数据库错误日志采集的开关状态。 调用接口前，您需要了解API 认证鉴权。 调用接口前，您需要提前获取到地区和终端节点，即下文中的Endpoint值。 调试 您可以在 API Explorer 中调试该接口。 URI GET https://{E

查看更多 →