分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka占用磁盘大 更多内容
  • Kafka实例是否支持查看单个Topic占用磁盘空间?

    Kafka实例是否支持查看单个Topic占用磁盘空间? 支持。通过以下任意一种方法,查看单个Topic占用磁盘空间大小。 在Kafka实例名称后,单击,跳转到云监控页面。在“队列”页签中,“队列”选择待查看磁盘空间大小的Topic名称,“监控类型”选择“基本监控”,查看“队列数据

    来自:帮助中心

    查看更多 →

  • Kafka集群节点内多磁盘数据量占用高

    Kafka集群节点内多磁盘数据量占用高 用户问题 Kafka流式集群节点内有多块磁盘的使用量很高。当达到100%时就会造成kafka不可用如何处理? 问题现象 客户购买的 MRS Kafka流式集群节点内有多块磁盘,由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。

    来自:帮助中心

    查看更多 →

  • Kafka支持磁盘加密吗?

    Kafka支持磁盘加密吗? Kafka实例不支持磁盘加密。 父主题: 实例问题

    来自:帮助中心

    查看更多 →

  • GDS导入失败后,磁盘占用空间增大

    GDS导入失败后,磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败,触发作业重跑。重新开始数据导入,完成导入作业后查看磁盘空间,发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后,占用磁盘空间没有释放。 解决办法 检测GDS导入作业的日志,查看是否有执行失败的现象。

    来自:帮助中心

    查看更多 →

  • 查看Kafka磁盘使用量

    查看Kafka磁盘使用量 本章节指导您在控制台查看每个代理上磁盘的使用量,以了解Kafka实例的磁盘使用情况。 单机版实例不支持查看磁盘使用量。 查看Kafka磁盘使用量 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件

    来自:帮助中心

    查看更多 →

  • Binlog未清理导致磁盘占用高

    Binlog未清理导致磁盘占用高 场景描述 只读实例或主实例磁盘占用高,通过执行SHOW BINARY LOG S或SHOW MASTER LOGS,和其他实例对比发现,大量老的Binlog文件未被清理,导致磁盘占用很高。 原因分析 正常情况下,设置了Binlog过期时间,当Bin

    来自:帮助中心

    查看更多 →

  • 如何控制容器引擎占用磁盘空间大小?

    如何控制容器引擎占用磁盘空间大小? 您可以控制容器引擎占用磁盘空间大小。 前提条件 使用CentOS操作系统。 配置方法 执行如下命令修改容器引擎的daemon.json文件。 vi /etc/docker/daemon.json 将storage-driver设置为device

    来自:帮助中心

    查看更多 →

  • MySQL只读实例磁盘占用远超主实例

    MySQL只读实例磁盘占用远超主实例 场景描述 MySQL只读实例的磁盘占用比主实例高195GB。 原因分析 排查只读实例上运行的事务: 发现有一直未提交的长事务,如上图所示(事务一天前开始),该长事务导致undo log一直未清理,累计了近一天的undo log,导致磁盘占用高。 解决方案

    来自:帮助中心

    查看更多 →

  • ALM-38001 Kafka磁盘容量不足

    ms=“保存时间” 查看是否由于某些Topic的Partition配置不合理导致部分磁盘使用率达到上限(例如:数据量非常的Topic的Partition数目小于配置的磁盘个数,导致各磁盘上数据分配无法均匀,进而部分磁盘达到使用率上限)。 如果不清楚哪些Topic业务数据量较大,可以参考如下步骤查询:

    来自:帮助中心

    查看更多 →

  • ALM-38001 Kafka磁盘容量不足(2.x及以前版本)

    ms=保存时间 查看是否由于某些Topic的Partition配置不合理导致部分磁盘使用率达到上限(例如:数据量非常的Topic的Partition数目小于配置的磁盘个数,导致各磁盘上数据分配无法均匀,进而部分磁盘达到使用率上限)。 如果不清楚哪些Topic业务数据量较大,可以根据2中

    来自:帮助中心

    查看更多 →

  • GaussDB如何设置磁盘占用率只读检测阈值

    GaussDB 如何设置磁盘占用率只读检测阈值 云数据库GaussDB可以通过控制台设置磁盘占用率只读检测阈值。详见如下操作。 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面左上角单击,选择“数据库 > 云数据库 GaussDB”,进入云数据库 GaussDB信息页面。

    来自:帮助中心

    查看更多 →

  • Kafka性能优化

    group_msgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。 topic_messages_remained 队列可消费消息数 该指标用于统计消费组指定队列可以消费的消息个数。 broker_messages_in_rate 每秒消息生产速率 统计Kafka节点每秒生产速率。

    来自:帮助中心

    查看更多 →

  • Kafka业务规格说明

    假设集群中部署了K个Kafka节点,每个节点上配置的磁盘个数为N,每块磁盘大小为M,集群共有n个Topic(T1,T2…Tn),并且其中第m个Topic的每秒输入数据总流量为X(Tm) MB/s,配置的副本数为R(Tm),配置数据保存时间为Y(Tm)小时,那么整体必须满足: 假设单个磁盘大小为

    来自:帮助中心

    查看更多 →

  • Kafka业务规格说明

    假设集群中部署了K个Kafka节点,每个节点上配置的磁盘个数为N,每块磁盘大小为M,集群共有n个Topic(T1,T2…Tn),并且其中第m个Topic的每秒输入数据总流量为X(Tm) MB/s,配置的副本数为R(Tm),配置数据保存时间为Y(Tm)小时,那么整体必须满足: 假设单个磁盘大小为

    来自:帮助中心

    查看更多 →

  • 占用RDS磁盘空间的日志及文件有哪些

    占用RDS磁盘空间的日志及文件有哪些 占用云数据库RDS实例的磁盘空间的日志及文件如下表: 表1 MySQL数据库文件类型 数据库引擎 文件类型 MySQL 日志文件:数据库undo-log、redo-log和Binlog文件。 数据文件:数据库内容文件和索引文件。 其他文件:i

    来自:帮助中心

    查看更多 →

  • Topic和分区问题

    ic仍然存在 Kafka实例是否支持查看单个Topic占用磁盘空间? Topic是否支持ACL权限配置? 消息被消费后,没有删除,导致Kafka存储空间占满? 如何扩总分区? 修改自动创建Topic的配置,会触发重启吗? 如何关闭自动创建Topic功能? Kafka可以删除消费组下不用的Topic吗?

    来自:帮助中心

    查看更多 →

  • 云日志服务LTS对比自建ELK Stack有什么优势?

    在社区中有大量的内容和使用案例供大家参考。 华为云日志服务LTS,聚焦3场景(应用运维/等保合规/业务运营),为客户提供采、存、查、加工、分析和告警全托管式 日志分析 平台。更多信息请参考图解云日志服务。 功能对比 云日志服务LTS在功能特性的完备度、日志搜索分析性能方面对比ELK有明显的优势,详细对比请见如下表格:

    来自:帮助中心

    查看更多 →

  • GaussDB(for MySQL)只读节点磁盘占用远超主节点

    GaussDB(for MySQL)只读节点磁盘占用远超主节点 场景描述 GaussDB(for MySQL)只读节点的磁盘占用比主节点高195GB。 原因分析 磁盘空间计算方式为:共享存储中占用空间大小+Binlog占用空间大小+数据盘(存放临时表)占用空间大小 排查只读节点上运行的事务:

    来自:帮助中心

    查看更多 →

  • 创建Kafka Topic

    意一个的IP地址即可。 使用Kafka主题管理消息,请参见管理Kafka Topic中的消息。 MRS 3.x及后续版本:使用kafka-topics.sh创建Kafka主题。 创建主题: Topic的Partition自动划分时,默认根据节点及磁盘上已有的Partition数进

    来自:帮助中心

    查看更多 →

  • 查询topic的磁盘存储情况

    参数 是否必选 参数类型 描述 minSize 否 String 占用磁盘大小,默认值1G (1K,1M,1G)。 top 否 String 占用磁盘大小,查询top N。 percentage 否 String 占用磁盘大小,查询大于占比的分区。 请求参数 无 响应参数 状态码: 200

    来自:帮助中心

    查看更多 →

  • Kafka客户端使用实践

    执行以下命令切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令使用客户端工具查看帮助并使用。 ./kafka-console-consumer.sh:Kafka消息读取工具 ./kafka-console-producer.sh:Kafka消息发布工具

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了