产生告警的元素名称。 对系统的影响 如果数据源有数据，Flume Source持续读取不到数据，数据采集会停止。 可能原因 Flume Source故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Source是否故障。 确认Flume Source是否是spooldir类型。

查看更多 →

查看系统日志 运维人员登录云 堡垒机 系统，执行配置权限、审计管理等操作后，审计管理员将会收到系统日志记录。通过系统日志记录，可查询详细的系统登录和操作记录，在线审计系统日志。系统日志包括系统登录日志和系统操作日志两部分。 前提条件 已获取“系统登录日志”或“系统操作日志”模块管理权限。

查看更多 →

导出系统日志 运维人员登录云堡垒机系统，执行配置权限、审计管理等操作后，审计管理员将会收到系统日志记录。通过系统日志记录，可查询详细的系统登录和操作记录，在线审计系统日志。系统日志包括系统登录日志和系统操作日志两部分。 前提条件 已获取“系统登录日志”或“系统操作日志”模块管理权限。

查看更多 →

Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。

查看更多 →

工作目录，默认为与jar包同级的workdir，日志文件存在工作目录中 依赖jar包 使用不同的Flume组件需要额外添加相关的Jar包，详情见第二章依赖驱动清单。 如果系统已经安装Hadoop并配置了“HADOOP_HOME”环境变量就不需要再添加这些jar包。 可以直接将压缩包中的jar放到flume/lib目录

查看更多 →

Flume基本原理 Flume是一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。其中Flume-NG是Flume的一个分支，其特点

查看更多 →

日志接入 日志接入概述 使用ICAgent插件采集日志 使用云服务接入LTS 使用API接入LTS 使用SDK接入LTS 跨IAM账号接入LTS 使用KAFKA协议上报日志到LTS 使用Flume采集器上报日志到LTS

查看更多 →

查询采集任务日志 功能介绍 查询采集任务日志。 URI URI格式 POST /softcomai/datalake/collection/v1.0/service/task/{taskId}/logCheck 参数说明 参数名 是否必选 参数类型 备注 taskId 是 String

查看更多 →

创建OBS文件系统用于存放数据。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面，单击“创建并行文件系统”。 填写文件系统名称，例如“esdk-c-test-pfs1”，其他参数请根据需要填写。单击“立即创建”等待创建完成。 在OBS控制台并行文件系统列表中，单击已新建的文件系统名称进入详情页面。

查看更多 →

使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS 基于Kafka的Word Count数据流统计案例

查看更多 →

查看Flume客户端日志 操作场景 查看日志以便定位问题。 前提条件 Flume客户端已经正确安装。 操作步骤 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下：

查看更多 →

查看Flume客户端日志 操作场景 查看日志以便定位问题。 前提条件 Flume客户端已经正确安装。 操作步骤 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下：

查看更多 →

使用多级agent串联从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。

查看更多 →

使用多级agent串联从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 本章节适用于 MRS 3.x及之后版本。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户

查看更多 →

下载采集机日志（控制面） 功能介绍 下载对应采集机上的采集机日志。 URI URI格式 POST /softcomai/datalake/collection/v1.0/service/task/collectorLog/{collectorId} 参数说明 无。 请求 请求样例

查看更多 →

采集开关默认打开，当您不需要采集日志时，可通过关闭采集开关来停止日志采集，以减少资源占用。 日志采集关闭后，ICAgent会停止采集日志，且在应用运维管理AOM控制台的“日志采集开关”也会同步关闭。 采集Syslog日志到AOM。开关关闭后，ICAgent将不会采集Syslog日志到AOM1.0，此功能仅支持5

查看更多 →

查看虚机日志 日志采集路径配置成功后，若已配置的路径下存在日志文件，则ICAgent会从已配置的路径中采集日志文件，采集大概需要1分钟，请您耐心等待。待采集完成后，您可执行如下操作： 查看虚机日志文件 在左侧导航栏中选择“日志分析 > 日志文件”，单击“主机”页签，查看采集到的日志文件。详细操作请参见查看日志文件。

查看更多 →

查询错误日志采集开关状态 功能介绍 查询数据库错误日志采集的开关状态。 调用接口前，您需要了解API 认证鉴权。 调用接口前，您需要提前获取到地区和终端节点，即下文中的Endpoint值。 调试 您可以在 API Explorer 中调试该接口。 URI GET https://{E

查看更多 →

下载采集机日志（数据面） 功能介绍 下载对应采集机上的采集机日志。 URI URI格式 GET /softcomai/datalake/collection/v1.0/download/collectorLog/{collectorId} 参数说明 无。 请求 请求样例 GET

查看更多 →

4。 表4 日志存储位置说明 日志存储位置 支持的日志类型 使用说明 LTS 容器标准输出日志 容器文件日志 节点日志 Kubernetes事件 请前往日志中心创建策略，具体配置方法请参见通过云原生日志采集插件采集容器日志。 AOM Kubernetes事件 当集群版本为1.19

查看更多 →

配置容器服务日志采集路径 AOM支持容器服务日志采集，并展现在AOM界面中，以供您检索。使用该功能前首先要配置日志采集路径，配置方法详见如下操作。 注意事项 ICAgent只采集*.log、*.trace和*.out类型的文本日志文件。 AOM默认会采集容器标准输出日志，您不用做任何配置。

查看更多 →