如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007（Kafka安全模式端口），那么修改该端口为9092（Kafka普通模式端口）。 检查网络是否正常，确保当前机器能够正常访问Kafka集群。 父主题： Kafka应用开发常见问题

查看更多 →

如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007（Kafka安全模式端口），那么修改该端口为9092（Kafka普通模式端口）。 检查网络是否正常，确保当前机器能够正常访问Kafka集群。 父主题： Kafka应用开发常见问题

查看更多 →

配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载，一般用于节点的退服、入服以及负载均衡的场景。 本章节内容适用于 MRS 3.x及后续版本。3.x之前版本请参考均衡Kafka扩容节点后数据 前提条件 MR

查看更多 →

Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外，还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路

查看更多 →

消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理？ 该问题是由于集群的Ranger鉴权和集群自带的ACL鉴权冲突导致。Kafka集群使用自带的ACL进行权限访问控制，且集群的Kafka服务也开启Ranger鉴权控制时

查看更多 →

使用KafkaManager KafkaManager介绍 访问KafkaManager的WebUI 管理Kafka集群 Kafka集群监控管理

查看更多 →

如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007（开启kerberos认证模式端口），那么修改该端口为9092（没有开启kerberos认证模式端口）。 检查网络是否正常，确保当前机器能够正常访问Kafka集群。 父主题：

查看更多 →

Kafka安全接口介绍 访问开启Kerberos认证模式Kafka集群端口默认为21007，访问没有开启Kerberos认证模式集群端口默认为21005。 旧API仅支持访问9092端口；新API兼容访问没有开启Kerberos模式集群端口9092和开启Kerberos认证模式集群端口21007。

查看更多 →

KafkaManager KafkaManager是Apache Kafka的管理工具，提供Kafka集群界面化的Metric监控和集群管理。 通过KafkaManager进行以下操作： 支持管理多个Kafka集群 支持界面检查集群状态（主题，消费者，偏移量，分区，副本，节点） 支持界面执行副本的leader选举

查看更多 →

KafkaManager介绍 KafkaManager是Apache Kafka的管理工具，提供Kafka集群界面化的Metric监控和集群管理。 通过KafkaManager可以： 支持管理多个Kafka集群 支持界面检查集群状态（主题，消费者，偏移量，分区，副本，节点） 支持界面执行副本的leader选举

查看更多 →

Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上您可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路

查看更多 →

Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上用户可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路

查看更多 →

Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 create

查看更多 →

asyncEnable); } Kafka生产者代码可参考使用Producer API向安全Topic生产消息。 KafkaConsumerMultThread.java： 该样例展示如何通过多线程将数据从Kafka集群写入到IoTDB，Kafka集群数据由“Producer.java”产生。

查看更多 →

er）订阅这些主题并消费这些消息。 在Kafka集群上一个服务器称为一个Broker。对于每一个主题，Kafka集群保留一个用于缩放、并行化和容错性的分区（Partition）。每个分区是一个有序、不可变的消息序列，并不断追加到提交日志文件。分区的消息每个也被赋值一个称为偏移顺序（Offset）的序列化编号。

查看更多 →

topic中的角色称为Producer。 Consumer 从Kafka topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 父主题： Kafka应用开发概述

查看更多 →

建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts 域名 信息。 准备连接Kafka集群配置文件 配置并导入样例工程 Kafka提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Kafka样例工程 根据业务场景开发工程

查看更多 →

发送到外部：是否发送到外部Kafka。若关闭该开关，表示发送到与AstroZero相连的Kafka。若打开该开关，表示发送到外部Kafka，需要配置“Kafka集群地址”和“订阅主题”。本示例中关闭该开关，使用与AstroZero相连的Kafka。 Kafka集群地址：接收事件的Kafka集群地址，例如10

查看更多 →

key 的消息被删除）。Flink将根据主键列的值对数据进行分区，从而保证主键上的消息有序，因此同一主键上的更新/删除消息将落在同一分区中。 表1 支持类别 类别 详情 支持表类型 源表、结果表 前提条件 该场景作业需要运行在 DLI 的独享队列上，要与kafka集群建立增强型跨源连接，

查看更多 →

业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key，按照对应的K

查看更多 →

安装Kafka 简介 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 本教程介绍如何在HCE 2.0上安装部署Kafka。

查看更多 →