Kafka实例所在的共享带宽不需要为同一个，共享带宽间网络默认互通。 关闭IPv6公网访问 将Kafka实例的IPv6地址从共享带宽中移出，具体请参考从共享带宽中移出弹性公网IP。 父主题： 配置Kafka网络连接

查看更多 →

全部投递到Partition 0 适用于有事务要求的场景，写入性能比较差，如果没有强事务要求，不推荐使用此选项。 按表的主键值hash值投递到不同的Partition 适用于一个表一个Topic的场景，避免该表都写到同一个分区，消费者可以并行从各分区获取数据。 按库名.sche

查看更多 →

出Topic。 开发一个Kafka Streams完成单词统计功能，通过读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出。 方案架构 生产者（Producer）将消息发布到Kafka主题（Topic）上，消费

查看更多 →

先购买Kafka实例。Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。 支持区域： 全部 购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前，需要先连接Kafka实例。 创建Kafka实例时，支持开启或者关闭SASL_SSL

查看更多 →

StringDeserializer。 AutoOffsetReset 设置当没有初始的偏移量或者偏移量超出范围时，从哪里开始消费。 latest：从最近的偏移量开始消费； earliest：从最早的偏移量开始消费； none：抛出异常。 父主题： 触发器

查看更多 →

修改实例跨VPC访问的内网IP 查询Kafka集群元数据信息 查询消费组信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 查询topic的磁盘存储情况 查询所有消费组 Kafka实例批量删除消费组 创建消费组 编辑消费组 Kafka实例开始分区重平衡任务 关闭Kafka Manager

查看更多 →

为什么不建议使用Sarama客户端收发消息？ 问题现象 使用Sarama客户端收发消息存在以下问题： Sarama客户端无法感知分区变化，当Topic分区数增加时，需要重启客户端后才能正常消费。 Sarama客户端消息最大处理时间（MaxProcessingTime）默认值为10

查看更多 →

node-master1gAMQ:2181(CONNECTED) 0] ls /kafka/brokers/ ids seqid topics [zk: node-master1gAMQ:2181(CONNECTED) 0] ls /kafka/brokers/ids [1] [zk:

查看更多 →

分布式消息（Kafka） 分布式消息（Kafka）连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式（Kafka）连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制，则需要放通 集成工作台 公网出口访问地址“124

查看更多 →

Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端程序开发的流程说明 阶段 说明 参考文档 了解基本概念

查看更多 →

如升级前Kafka版本为2.7，升级内核版本后，Kafka版本还是2.7。 升级内核版本的影响 若Topic为单副本，升级期间无法对该Topic生产消息或消费消息，会造成业务中断。 若Topic为多副本，升级不会造成服务中断，但可能会导致消费的分区消息发生乱序，请谨慎评估业务影响，建议您在业务低峰期升级。

查看更多 →

告警可自动清除，但当某个用户的连接数突然变为0时，而且不再建立连接，此时该告警不会消除，需要手动清除。 告警属性 告警ID 告警级别 可自动清除 38011 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名

查看更多 →

Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包，完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。

查看更多 →

态 问题现象 使用 MRS 服务安装集群，主要安装ZooKeeper、Kafka。 在使用Consumer从Kafka消费数据时，发现客户端一直处于等待状态。 可能原因 Kafka服务异常。 客户端Consumer侧采用非安全访问，服务端配置禁止访问。 客户端Consumer侧采用非安全访问，Kafka

查看更多 →

Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下

查看更多 →

Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下

查看更多 →

Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下

查看更多 →

则，保证云服务器等实例的网络安全。 删除安全组规则：当安全组规则入方向、出方向源地址/目的地址有变化时，或者不需要开放某个端口时，您可以参考删除安全组规则进行安全组规则删除。 查看Kafka。在控制台单击“服务列表”，选择“分布式消息服务Kafka版”，在“Kafka专享版”页面

查看更多 →

Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

目标连接 选择目标连接。如果还未创建目标连接，请先创建分布式消息服务Kafka版目标连接，如何创建请参见目标连接。 Topic 选择Topic。先选目标连接以加载Topic选项。 消息Key配置 关闭 不启用消息Key。 开启 变量：从CloudEvents标准事件中获取变量值，将变量值作为Key值。

查看更多 →