更新时间:2024-10-11 GMT+08:00

快速创建Kafka流式集群

本章节为您介绍如何快速创建一个Kafka流式集群,Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量,可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景,实现高效的流式数据采集,实时数据处理存储等。

Kafka流式集群包含如下组件:

  • MRS 1.8.9版本:Kafka 1.1.0、Storm 1.2.1。
  • MRS 2.0.1版本:Kafka 1.1.0、Storm 1.2.1。

快速创建Kafka流式集群

  1. 登录MRS管理控制台。
  2. 单击“创建集群”,进入“创建集群”页面。
  3. 创建集群页面,选择“快速创建”页签。
  4. 参考下列参数说明配置集群基本信息,参数详细信息请参考创建自定义集群

    • 区域:默认即可。
    • 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs_20200321”。
    • 集群版本:不同版本集群提供的组件有所不同,请根据需要选择集群版本。
    • 组件选择:选择“Kafka流式集群”。
    • 可用区:默认即可。
    • 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。
    • 子网:默认即可。
    • 企业项目:默认即可。
    • 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。
    • 集群高可用:默认即可。MRS 3.x版本暂时不支持该参数。
    • Kerberos认证:选择是否开启Kerberos认证。
    • 用户名:默认为“admin”,用于登录集群管理页面。
    • 密码:设置admin用户密码。
    • 确认密码:再次输入设置的admin用户密码。
    • 密钥对:从下拉框中选择密钥对用于登录ECS机器,如果已获取私钥文件,请勾选“我确认已获取该密钥对中的私钥文件SSHkey-xxx,否则无法登录弹性云服务器”。如果没有创建密钥对,请单击“查看密钥对”创建或导入密钥,然后再获取私钥文件。

  5. 勾选“确认授权”开通通信安全授权,通信安全授权详情请参考授权安全通信
  6. 单击“立即创建”

    当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。

  7. 单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。

    集群创建的状态过程请参见表1中的“状态”参数说明。

    集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。

    MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。