文档首页 > > 快速入门> 从零开始使用Kafka
从零开始使用Kafka

从零开始使用Kafka

分享
更新时间: 2019/08/23 GMT+08:00
  • MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件 。

  • 本指南以不开启Kerberos认证的集群为例提供从零开始在Kafka主题中产生和消费消息的操作指导。若集群开启Kerberos认证时,请在执行Step5时认证用户身份及在执行Step6时修改端口号。

  • 购买集群 -> 登录Master节点(VNC方式) -> 使用Kafka客户端创建topic -> 管理Kafka主题中的消息

Step1 购买集群

步骤

① 登录华为云控制台。
② 选择“EI企业智能 > MapReduce服务”,进入MapReduce服务管理控制台。
③ 单击“购买集群”,进入“购买集群”页面。

1

MapReduce服务

申请虚拟私有云

2

购买MRS集群

申请弹性云服务器

单击图片可查看原图

Step2 配置集群信息

步骤

① 选择付费类型。
本示例中“计费模式”选择“按需计费”。
② 配置集群基本信息(参考右侧图片)。
单击这里查看更多参数说明。
③ 配置集群的密码和日志记录(参考右侧图片)。
单击这里查看更多参数说明。
④ 配置完成后,在右下方单击“立即购买”。

1

配置集群信息-01

选择付费方式

2

配置集群信息-02

选择实例配置

3

配置集群信息-03

选择实例配置

单击图片可查看原图

Step3 确认您的集群配置

步骤

确认信息无误后,并单击“提交申请”。系统将会自动为您创建集群。
MRS集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。

1

集群详情

获取实例连接地址

单击图片可查看原图

Step4 登录Master节点(VNC方式) 

步骤

① 在“集群列表 > 现有集群”列表中,单击名称“mrs_test”,在“节点信息”页签中找到类型为“Master2”的节点,并单击其名称,跳转至云服务器控制台上的该弹性云服务器详情页面。
② 单击页面右上角的“远程登录”,远程登录Master2节点。
登录使用用户名“root”,密码为购买集群时设置的密码。

1

登录Master节点(VNC方式) -01

获取实例连接地址

2

登录Master节点(VNC方式) -02

下载和安装客户端

单击图片可查看原图

Step5 使用Kafka客户端创建topic

步骤

① 配置环境变量。
source /opt/client/bigdata_env
② 若创建集群时开启Kerberos认证,请执行kinit admin命令认证用户身份后根据提示输入创建集群时设置的admin用户密码。若未开启Kerberos认证则跳过该步骤。
③ 在“集群列表 > 现有集群”列表中,单击名称“mrs_test”,进入集群基本信息页面,在“集群管理页面”右侧,单击“点击查看”,跳转至MRS Manager页面。
④ 在MRS Manager页面,选择“服务管理 > ZooKeeper > 实例”,查看ZooKeeper角色实例的IP地址。
记录ZooKeeper角色实例中任意一个的IP地址即可。如“192.168.0.237”。
⑤ 执行如下命令,创建kafka topic。
kafka-topics.sh --create --zookeeper <ZooKeeper角色实例所在节点IP:2181/kafka> --partitions 2 --replication-factor 2 --topic <Topic名称>
右图示例为创建名为“test”的topic。

1

配置环境变量

获取实例连接地址

2

创建topic

下载和安装客户端

单击图片可查看原图

Step6 管理Kafka主题中的消息

步骤

① 在MRS Manager页面,选择“服务管理 > Kafka > 实例”,查看Kafka角色实例的IP地址。
记录Kafka角色实例中任意一个的IP地址即。如“192.168.0.237”。
② 在topic test中产生消息。
首先执行命令kafka-console-producer.sh --broker-list <Kafka角色实例所在节点IP:9092> --topic <Topic名称> --producer.config /opt/client/Kafka/kafka/config/producer.properties
然后输入指定的内容作为生产者产生的消息,输入完成后按回车发送消息。如果需要结束产生消息,使用“Ctrl + C”退出任务。
③ 消费topic test中的消息。
kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server <Kafka角色实例所在节点IP:9092> --new-consumer --consumer.config /opt/client/Kafka/kafka/config/consumer.properties

说明:如果集群开启Kerberos认证,则执行如上两个命令时请修改端口号9092为21007,详见开源组件端口列表

1

管理Kafka主题中的消息-01

获取实例连接地址

2

管理Kafka主题中的消息-02

下载和安装客户端

单击图片可查看原图

相关操作指导

视频小图标 Created with Sketch.

MapReduce服务集群管理

视频小图标 Created with Sketch.

使用MRS Manager进行基本的集群管理务

视频小图标 Created with Sketch.

如何访问开源组件UI界面

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区