作请参考增加Kafka Topic分区。 在“Topic Rank”栏，可查看当前集群Topic日志条数、数据体积大小、数据流入量、数据流出量前十名的Topic。 单击“TopicName”可进入到该Topic的详情页面中，在该页面的具体操作请参考查看Kafka数据生产消费详情。

查看更多 →

查看Kafka数据生产消费详情 操作场景 用户可以通过KafkaUI查看Topic详情、修改Topic Configs、增加Topic分区个数、删除Topic，并可实时查看不同时段的生产数据条数。 安全模式下，KafkaUI对查看Topic详情操作不作鉴权处理，即任何用户都可以查询Topic信息；对于修改Topic

查看更多 →

接入 MRS Kafka数据源 概述 ROMA Connect支持把MRS Kafka作为一个数据源，并用于数据集成任务。在使用MRS Kafka数据源前，您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。

查看更多 →

同步Kafka数据至ClickHouse 本章节指导用户通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群。 前提条件 已创建Kafka集群。已安装Kafka客户端，详细可以参考安装客户端。 已创建ClickHouse集群，并且ClickHouse集群和K

查看更多 →

）。 已安装Kafka客户端。 Kafka实例状态和磁盘状态均正常。 根据待迁移分区当前的磁盘空间占用情况，评估迁移后，不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据 以客户端安装用户，登录已安装Kafka客户端的节点。 执行以下命令，切换到Kafka客户端安装目

查看更多 →

配置Kafka数据转储至OBS 本章节介绍如何创建转储的Smart Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中，实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理 服务器 。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍

查看更多 →

Kafka Consumer消费数据丢失 问题背景与现象 用户将消费完的数据存入数据库，发现数据与生产数据不一致，怀疑Kafka消费丢数据。 可能原因 业务代码原因 Kafka生产数据写入异常 Kafka消费数据异常 解决办法 Kafka排查： 通过consumer-groups

查看更多 →

ClickHouse消费Kafka数据异常 问题现象 用户在ClickHouse集群创建Kafka引擎表test.user_log_kafka消费Kafka数据，查看Kafka监控发现凌晨开始出现消息堆积，数据一直没有被消费。 原因分析 Kafka出现消息堆积，说明ClickHo

查看更多 →

同步Kafka数据至ClickHouse 您可以通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群，具体操作详见本章节描述。 前提条件 已创建Kafka集群。已安装Kafka客户端，详细可以参考安装客户端。 已创建ClickHouse集群，并且ClickH

查看更多 →

查看Kafka数据生产消费详情 操作场景 用户可以通过KafkaUI查看Topic详情、修改Topic Configs、增加Topic分区个数、删除Topic，并可实时查看不同时段的生产数据条数。 安全模式下，KafkaUI对查看Topic详情操作不作鉴权处理，即任何用户都可以查询Topic信息；对于修改Topic

查看更多 →

查询Kafka集群元数据信息 功能介绍 查询Kafka集群元数据信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/cluster 表1 路径参数 参数 是否必选 参数类型

查看更多 →

查询Kafka集群元数据信息 当前页面API为历史版本API，未来可能停止维护。请使用查询Kafka集群元数据信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/cluster 参数说明如下表所示。 表1 参数说明

查看更多 →

Broker的时间。 消息键（Key）与消息体（Value）的格式 Kafka消息的消息键和消息体部分都可以使用某种格式来序列化或反序列化成二进制数据。 消息体格式 由于 Kafka 消息中消息键是可选的，以下语句将使用消息体格式读取和写入消息，但不使用消息键格式。 'format'

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

购买”后开通该服务。 已开通Astro大屏服务， 未开通则访问Astro大屏应用，单击“立即使用”后开通该服务。 示例场景 在本示例中，我们实现以下场景： 新能源设备上报发电量、地区等数据到物联网平台，物联网平台将数据转发至kafka，由 DLI 进行大数据清洗将数据存储至DWS，再

查看更多 →

示。 图11 大屏效果 单击右上角右“保存”，输入大屏的名称，单击“确定”，大屏保存成功。 步骤5：管理大屏 切换大屏发布状态 在控制台右侧“我的项目”单击项目名称，进入项目页面。 单击“数据分析 > 大屏”，进入大屏页面。 单击大屏名称，进入大屏编辑页面。 发布大屏：单击页面右上角“保存并发布”，大屏发布成功。

查看更多 →

方案架构 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收

查看更多 →

安装Kafka 简介 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 本教程介绍如何在HCE 2.0上安装部署Kafka。

查看更多 →