学习。 导入并配置Kafka样例工程 配置安全认证 如果您使用的是开启了Kerberos认证的 MRS 集群，需要进行安全认证。 配置Kafka应用安全认证 根据业务场景开发程序 提供了Producer和Consumer相关API的使用样例，包含了API和多线程的使用场景，帮助用户快速熟悉Kafka接口。

查看更多 →

组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts 域名 信息。 准备连接Kafka集群配置文件 配置并导入样例工程 Kafka提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。

查看更多 →

提供了Producer和Consumer相关API的使用样例，包含了新旧API和多线程的使用场景，帮助用户快速熟悉Kafka接口。 Kafka样例程序开发思路 编译并运行程序 指导用户将开发好的程序编译并打包，上传到VPC的Linux节点运行。 调测Kafka应用 查看程序运行结果 程序运行结果可以输出到L

查看更多 →

Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外，还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路

查看更多 →

消息key值选取一定是可变的，防止由于消息key值不变导致消息分布不均匀。 消费者尽量使用主动提交offset的方式，避免重复消费。 父主题： 开发Kafka应用

查看更多 →

消息key值选取一定是可变的，防止由于消息key值不变导致消息分布不均匀。 消费者尽量使用主动提交offset的方式，避免重复消费。 父主题： 开发Kafka应用

查看更多 →

使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 性能调优建议 建议预先创建Topic，根据业务需求合理规划Partition数目，Partition数目限制了消费者的并发数。 消息key值选取一定是可变的，防止由于消息key值不变导致消息分布不均匀。

查看更多 →

使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 性能调优建议 建议预先创建Topic，根据业务需求合理规划Partition数目，Partition数目限制了消费者的并发数。 消息key值选取一定是可变的，防止由于消息key值不变导致消息分布不均匀。

查看更多 →

servers为三个节点的主机IP，三个节点修改的一致 bootstrap.servers=IP1:9092,IP2:9092,IP3:9092 图18 主机IP1 2# 修改key.converter.schema.registry.url为三个节点的主机IP，三个节点修改的一致 key.converter

查看更多 →

安装和配置Eclipse或IntelliJ IDEA 用于开发Kafka应用程序的工具。 网络 确保本地与Kafka服务所在的VPC的至少一个节点在网络上互通。 访问云服务器的安全认证 本地可以通过密钥或密码方式登录访问Linux弹性云服务器 父主题： 准备Kafka应用开发环境

查看更多 →

Kafka应用开发常见问题 Kafka常用API介绍 配置Windows通过EIP访问普通模式集群Kafka 运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 父主题： Kafka开发指南（普通模式）

查看更多 →

Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问安全模式集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错“ERROR

查看更多 →

jar 将1和2中获取的jar包和配置文件合并统一打出完整的业务jar包，请参见打包Strom应用业务。 进入Linux系统中进入Kafka客户端所在目录，在Kafka/kafka/bin目录下使用Kafka客户端创建拓扑中所用到的Topic，执行命令： ./kafka-topics.sh

查看更多 →

Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错获取元数据失败“ERROR

查看更多 →

Kafka应用开发常见问题 Kafka常用API介绍 配置Windows通过EIP访问集群Kafka 运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 父主题： Kafka开发指南（普通模式）

查看更多 →

如果集群启用了安全服务，需要从管理员处获取一个“人机”用户，用于认证，并且获取到该用户的keytab文件。将获取到的文件拷贝到示例工程的 src/main/resources目录。 获取的用户需要同时属于storm组和kafka组。 下载并安装Kafka客户端程序，参见《Kafka应用开发》。

查看更多 →

准备Kafka应用开发环境 Kafka应用开发环境简介 准备Maven和JDK 导入并配置Kafka样例工程 准备Kafka应用安全认证 父主题： Kafka开发指南

查看更多 →

Kafka应用开发常见问题 Kafka接口介绍 运行Producer.java样例运行获取元数据失败如何处理 父主题： Kafka开发指南

查看更多 →

准备Kafka应用开发环境 准备本地应用开发环境 准备连接Kafka集群配置文件 导入并配置Kafka样例工程 配置Kafka应用安全认证 父主题： Kafka开发指南（安全模式）

查看更多 →

Manager平台并通过认证，并且获取到该用户的keytab文件。 获取的用户需要同时属于storm组和kafka组。 默认情况下，用户的密码有效期是90天，所以获取的keytab文件的有效期是90天。如果需要延长该用户keytab的有效期，修改用户的密码策略并重新获取keytab。 下载并安装Kafka客户端程序。

查看更多 →

准备Kafka应用开发环境 准备本地应用开发环境 准备连接Kafka集群配置文件 导入并配置Kafka样例工程 父主题： Kafka开发指南（普通模式）

查看更多 →