文档首页 > > 快速入门>

从零开始使用Kafka

None

从零开始使用Kafka

分享
更新时间:2021/04/06 GMT+08:00
  • MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件 。

  • 本指南以不开启Kerberos认证的集群为例提供从零开始在Kafka主题中产生和消费消息的操作指导。若集群开启Kerberos认证时,请在执行Step7时认证用户身份及在执行Step8时修改端口号。

  • 购买集群 -> 登录Master节点(VNC方式) -> 使用Kafka客户端创建topic -> 管理Kafka主题中的消息

Step1 购买集群

步骤

① 登录华为云控制台。
② 选择“EI企业智能 > MapReduce服务”,进入MapReduce服务管理控制台。
③ 单击“购买集群”,进入“购买集群”页面。
④ 选择新版购买集群页面的“自定义购买”页签。

1

MapReduce服务

申请虚拟私有云

2

购买MRS集群

申请弹性云服务器

单击图片可查看原图

Step2 软件配置

步骤

① “区域”请根据需要选择。
② “集群名称”填写“mrs_demo”或按命名规范命名。
③ “集群版本”选择MRS 3.0.5。
④ “集群类型”选择“流式集群”。
⑤ 勾选所有流式集群组件。
⑥ 单击“下一步”。

1

软件配置-01

选择付费方式

2

软件配置-02

选择实例配置

单击图片可查看原图

Step3 硬件配置

步骤

① “计费模式”选择按需计费。
② “可用区”选择“可用区2”。
③ “虚拟私有云”和“子网”保持默认不修改,也可单击“查看虚拟私有云”重新创建。
④ “安全组”默认选择“自动创建”。
⑤ 绑定“弹性公网IP”,如果无可选IP,则单击“管理弹性公网IP”购买弹性公网IP后进行绑定。
⑥ “企业项目”选择“default”。
⑦ “集群节点”中Master和Core的实例规格保持默认值。实例数量、数据盘类型及大小保持默认值。不添加Task节点。
⑧ 单击“下一步”。

1

硬件配置-01

获取实例连接地址

2

硬件配置-02

下载和安装客户端

单击图片可查看原图

Step4 高级配置

步骤

① “标签”保持默认暂不配置。
② “委托”、“告警”、“规则名称”、“主题名称”保持默认。
③ “Kerberos认证”选择关闭。
④ “用户名”默认为admin。
⑤ “密码”和“确认密码”请配置Manager管理员用户的密码。
⑥ “登录方式”选择“密码”,并为root用户输入密码及确认密码。
⑦ “通信安全授权”勾选“确认授权”。
⑧ 单击“立即购买”,进入任务提交成功页面。
⑨ 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。
集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。

1

高级配置-01

获取实例连接地址

2

高级配置-02

获取实例连接地址

3

高级配置-03

获取实例连接地址

单击图片可查看原图

Step5 安装Kafka客户端

步骤

① MRS 3.0.5集群默认不自动安装Kafka客户端,需要执行该步骤内容。如果已安装Kafka客户端,则请跳过该步骤,直接执行Step6。
② 在“集群列表 > 现有集群”列表中,单击名称“mrs_demo”,进入集群信息页面。
③ 单击“集群管理页面 ”后的“前往 Manager”,在弹出的窗口中配置弹性IP信息,单击“确定”。
④ 在Manager界面,选择“集群 > 组件 > Kafka > 更多 > 下载客户端”,选择“完整客户端”、对应的平台类型,单击“确定”。
得到Kafka客户端软件包,例如:FusionInsight_Cluster_1_Kafka_Client.tar
⑤ 使用WinSCP工具,以root用户,将获取的软件包上传到将要安装客户端的服务器文件目录,例如“/opt/hadoopclient”。
其中:安装目录可以不存在,会自动创建。但如果存在,则必须为空。目录路径不能包含空格。
⑥ 以root用户登录将要安装客户端的服务器。
⑦ 进入安装包所在目录,执行如下命令解压、校验安装包。并解压获取的安装文件。
cd /hadoopclient
tar -xvf FusionInsight_Cluster_1_Kafka_Client.tar
sha256sum -c FusionInsight_Cluster_1_Kafka_ClientConfig.tar.sha256
tar -xvf FusionInsight_Cluster_1_Kafka_ClientConfig.tar
⑧ 进入安装包所在目录,执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/hadoopclient”目录。
cd /opt/hadoopclient/FusionInsight_Cluster_1_Kafka_ClientConfig
执行./install.sh /opt/hadoopclient命令,等待客户端安装完成。
⑨ 检查客户端是否安装成功。
cd /opt/hadoopclient
source bigdata_env
kinit admin(如果集群为安全模式,需执行此命令,并输入客户端用户登录密码;普通模式集群无需执行用户认证。)
输入klist命令查询并确认权限内容。执行成功则说明Kafka客户端安装成功。

1

安装Kafka客户端-01

获取实例连接地址

2

安装Kafka客户端-02

获取实例连接地址

3

安装Kafka客户端-03

获取实例连接地址

单击图片可查看原图

Step6 登录Master节点(VNC方式)

步骤

① 在“集群列表 > 现有集群”列表中,单击名称“mrs_demo”,在“节点信息”页签中找到类型为“Master1”的节点,并单击其名称,跳转至云服务器控制台上的该弹性云服务器详情页面。
② 单击页面右上角的“远程登录”,远程登录Master节点。
登录使用用户名“root”,密码为购买集群时设置的密码。

1

登录Master节点(VNC方式)

获取实例连接地址

单击图片可查看原图

Step7 使用Kafka客户端创建topic

步骤

① 配置环境变量。Kafka客户端的安装目录以“/opt/hadoopclient”为例。
source /opt/hadoopclient/bigdata_env
② 若创建集群时开启Kerberos认证,请使用具有kafkaadmin用户组权限的用户,执行kinit 用户名 命令认证用户身份后根据提示输入创建集群时设置的用户密码。若未开启Kerberos认证则跳过该步骤。
③ 在“集群列表 > 现有集群”列表中,单击名称“mrs_demo”,进入集群“概览”页面。
在“概览”页面单击“IAM用户同步”后的“单击同步”等待同步完成。
④ 选择“组件管理 > ZooKeeper > 实例”,查看ZooKeeper角色实例的IP地址。
记录ZooKeeper角色实例中任意一个的IP地址即可。如“192.168.7.35”。
⑤ 执行如下命令,创建kafka topic。
kafka-topics.sh --create --zookeeper <ZooKeeper角色实例所在节点IP:2181/kafka> --partitions 2 --replication-factor 2 --topic <Topic名称>
右图示例为创建名为“test011”的topic。

1

获取Zookeeper实例地址

获取实例连接地址

2

创建topic

获取实例连接地址

单击图片可查看原图

Step8 管理Kafka主题中的消息

步骤

① 选择“组件管理 > Kafka > 实例”,查看Kafka角色实例的IP地址。
记录Kafka角色实例中任意一个的IP地址即。如“192.168.7.15”。
② 登录Master节点,在topic test中产生消息。
首先执行命令kafka-console-producer.sh --broker-list <Kafka角色实例所在节点IP:9092> --topic <Topic名称> --producer.config /opt/hadoopclient/Kafka/kafka/config/producer.properties
其中<Topic名称>为Step7创建的Topic名称。
然后输入指定的内容作为生产者产生的消息,输入完成后按回车发送消息。如果需要结束产生消息,使用“Ctrl + C”退出任务。
③ 消费topic test中的消息。
kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server <Kafka角色实例所在节点IP:9092> --consumer.config /opt/hadoopclient/Kafka/kafka/config/consumer.properties

说明:如果集群开启Kerberos认证,则执行如上两个命令时请修改端口号9092为21007,详见开源组件端口列表

1

获取Kafka实例地址

获取实例连接地址

2

管理Kafka主题中的消息

获取实例连接地址

单击图片可查看原图

相关操作指导

视频小图标 Created with Sketch.

MapReduce服务集群管理

视频小图标 Created with Sketch.

使用MRS Manager进行基本的集群管理务

视频小图标 Created with Sketch.

如何访问开源组件UI界面

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区论坛频道来与我们联系探讨

智能客服提问云社区提问