Flume数据写入组件失败 问题现象 Flume进程启动后，Flume数据无法写入到对应组件（本示例以服务端写入到HDFS为例）。 原因分析 HDFS未启动或故障。 查看Flume运行日志： 2019-02-26 11:16:33,564 | ERROR | [SinkRunne

查看更多 →

式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法： Log4J日志 Log4J审计日志 Tomcat日志 Django日志 Apache server日志 Log4J日志 日志样例： 2018-01-11 08:50:59

查看更多 →

式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法： Log4J日志 Log4J审计日志 Tomcat日志 Django日志 Apache server日志 Log4J日志 日志样例： 2018-01-11 08:50:59

查看更多 →

式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法： Log4J日志 Log4J审计日志 Tomcat日志 Django日志 Apache server日志 Log4J日志 日志样例： 2018-01-11 08:50:59

查看更多 →

查询数据库慢日志（新版） 接口说明 查询数据库慢日志信息，支持关键字、数据库表名等搜索功能。 约束说明 如果原始日志中本身包含关键字（&&、||、AND、OR、NOT、*、？、:、>、<、=、>=、<=），则不支持使用这些关键字来搜索日志。 每页查询最大限制100条。 慢日志最多保存30天。

查看更多 →

查询数据库错误日志（新版） 接口说明 查询数据库错误日志信息。 约束说明 不支持使用 &&、||、AND、OR、NOT、*、？、:、>、<、=、>=、<= 这些关键字来搜索日志。 每页查询最大限制100条，日志最多保存30天。 调试 您可以在 API Explorer 中调试该接口。

查看更多 →

图1 根目录空间占用率过高 查询当前系统存在一个约42G大小的文件access_log，这个文件是apache产生的访问日志文件，从日志大小判断是很久没有清理的apache日志文件了。 执行以下命令删除access_log。 rm /tmp/access_log 执行以下命令查看文件系统使用率。

查看更多 →

写入/更新命令 用户做了大量写入/更新操作后，实际数据量可能没有多大变化，但磁盘空间使用量增加了。是因为无论是写入、更新还是删除，以及索引插入和删除等操作，在后台实际上都会转成写入。因为底层的存储引擎（WiredTiger和RocksDB）采用都是appendOnly机制。只有当

查看更多 →

写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据，函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb

查看更多 →

Upsert数据写入 本章节主要介绍ClickHouse数据写入时数据去重写入功能的SQL基本语法和使用说明。 本章节仅适用于 MRS 3.3.0及之后版本。 基本语法 方法一：使用INSERT VALUES方式进行数据写入。 UPSERT INTO [database_name.]table

查看更多 →

批量写入Hudi表 引入Hudi包生成测试数据，参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表，写入命令中加入参数：option("hoodie.datasource.write.operation", "bulk_insert")，指定写入方式为b

查看更多 →

查询数据库错误日志信息 功能介绍 查询数据库错误日志，暂不支持关键字搜索。 接口约束 该接口支持GeminiDB Mongo数据库实例。 目前仅支持查询最近的2000条错误日志信息。 目前仅支持查询最近一个月内的错误日志信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API

查看更多 →

式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法： Log4J日志 Log4J审计日志 Tomcat日志 Django日志 Apache server日志 Log4J日志 日志样例： 2018-01-11 08:50:59

查看更多 →

flume日志配置 为了减少日志输出，在/opt/apache-flume-1.9.0-bin/conf/log4j.properties文件中增加配置： log4j.logger.com.obs=ERROR obsa写入时临时文件的目录配置 Flume写OBS时会先写入本地磁盘缓

查看更多 →

消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化 Kafka写入优化 Kafka写入通常速率极快，若有阻塞的场景请优先增加并发解决。 父主题： 任务性能调优

查看更多 →

方式二：通过依赖于云日志服务LTS的“集群日志管理”功能查看采集的审计数据库日志或进行日志下载，详细内容请参考查看集群日志。 方式三：数据库的审计日志默认存储于数据库中，连接集群后使用pg_query_audit函数进行查看。详细内容请参考使用pg_query_audit函数查看数据库审计日志。

查看更多 →

查询数据库慢日志（MySQL） 功能介绍 查询数据库最近的慢日志信息，最多查询2000条。 该接口计划于2025-03-31下线，建议及时切换到新接口查询慢日志。 调用接口前，您需要了解API 认证鉴权。 调试 您可以在API Explorer中调试该接口。 接口约束 该接口仅支持MySQL数据库引擎。

查看更多 →

查询数据库错误日志（MySQL） 功能介绍 查询数据库最近的错误日志信息，最多查询2000条。 该接口计划于2025-03-31下线，建议及时切换到新接口查询错误日志。 调用接口前，您需要了解API 认证鉴权。 调试 您可以在API Explorer中调试该接口。 接口约束 该接口仅支持MySQL引擎。

查看更多 →

payload.class 这需要与插入/插入更新过程中使用的类相同。就像写入一样，压缩也使用记录有效负载类将日志中的记录彼此合并，再次与基本文件合并，并生成压缩后要写入的最终记录。 org.apache.hudi.common.model.Defaulthoodierecordpayload

查看更多 →

流式写入Hudi表 本章节仅适用于MRS 3.3.1-LTS及之前版本。 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能：

查看更多 →

转储 GaussDB (DWS)数据库审计日志 GaussDB(DWS)记录数据库中的连接和用户活动相关信息。这些审计日志信息有助于用户监控数据库以确保安全、进行故障排除及定位历史操作记录。GaussDB(DWS)的审计日志默认存储于数据库中，用户可以将审计日志转储到OBS中，便于负责监控数据库中活动的

查看更多 →