删除Kafka Topic 本章节指导您删除Topic，请根据实际情况选择以下任意一种方式： 删除Kafka Topic（控制台） 删除Kafka Topic（Kafka客户端） 约束与限制 删除Topic会导致Topic中的数据也被删除，并且无法找回，同时会影响使用该Topic的相关业务。

查看更多 →

Broker的时间。 消息键（Key）与消息体（Value）的格式 Kafka消息的消息键和消息体部分都可以使用某种格式来序列化或反序列化成二进制数据。 消息体格式 由于 Kafka 消息中消息键是可选的，以下语句将使用消息体格式读取和写入消息，但不使用消息键格式。 'format'

查看更多 →

DRS发送Kafka消息序列化方式是什么 DRS发送到Kafka的数据，key序列化器是org.apache.kafka.common.serialization.StringSerializer，value序列化器是org.apache.kafka.common.serialization

查看更多 →

客户端Consumer侧采用非安全访问，Kafka Topic设置ACL。 原因分析 Consumer向Kafka消费数据失败，可能原因客户端Consumer侧问题或者Kafka侧问题。 查看Kafka服务状态： MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 > Kafka”，查

查看更多 →

className: "org.apache.storm.kafka.StringScheme" #使用构造函数定义component - id: "defaultTopicSelector" className: "org.apache.storm.kafka.bolt.selector

查看更多 →

Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下

查看更多 →

Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下

查看更多 →

Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下

查看更多 →

网关服务 服务信息如下： 表1 服务信息 服务名 服务器 安装目录 端口 gis-gateway 10.190.x.x 10.190.x.x 10.190.x.x /app/dt/gis-gateway 9999 网关服务 修改配置文件application-dev.yml 配置

查看更多 →

sink的类型发生变化：允许特定的几个sink的组合，具体场景需要验证确认，例如： File sink允许变更为kafka sink，kafka中只处理新数据。 kafka sink不允许变更为file sink。 kafka sink允许变更为foreach sink，反之亦然。 sink的参数变化，这种情

查看更多 →

sink的类型发生变化：允许特定的几个sink的组合，具体场景需要验证确认，例如： File sink允许变更为kafka sink，kafka中只处理新数据。 kafka sink不允许变更为file sink。 kafka sink允许变更为foreach sink，反之亦然。 sink的参数变化，这种情

查看更多 →

sink的类型发生变化：允许特定的几个sink的组合，具体场景需要验证确认，例如： File sink允许变更为kafka sink，kafka中只处理新数据。 kafka sink不允许变更为file sink。 kafka sink允许变更为foreach sink，反之亦然。 sink的参数变化，这种情

查看更多 →

56 登录后可以查看Kafka集群监控页面、Topic监控页面、Consumer监控页面，例如： 图3 Kafka集群监控 图4 Topic监控 图5 Consumer监控 Kafka Eagle对接常见问题 问题现象： 无法获取Kafka CPU与内存监控信息日志提示。 java

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称，进入实例详情页面。 在左侧导航栏选择“消费组管理”，进入消费组列表页面。

查看更多 →

引入properties中才能生效。 kafka source可以在open里引入。 图1 获取kafka source kafka sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书，解压后将其中的clinet

查看更多 →

调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器，登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例：Maven工程打包到Linux下运行样例 执行mvn package生成j

查看更多 →

优化消费者轮询（Polling） 方案概述 应用场景 在分布式消息服务Kafka版提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特别是分区数较多且每个消费者开启多个线程的情况下。

查看更多 →

使用Kafka Shell命令无法操作Kafka集群 问题背景与现象 用户执行Kafka命令查看当前topic信息，但发现业务执行失败。 具体信息如下： root@Slave2bin]#./kafka-topics.sh --describe --topic example-metric1

查看更多 →

查看Kafka消费组信息 消费组创建成功后，可查看消费组配置信息和状态信息。 查看消费组列表（控制台） 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。

查看更多 →

org.apache.flume.source.kafka.KafkaSource kafka source的类型，必须设置为org.apache.flume.source.kafka.KafkaSource。 kafka.bootstrap.servers - Kafka的boo

查看更多 →