更新时间:2024-03-15 GMT+08:00

购买实例

操作场景

Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。支持用户自定义规格和自定义特性,您可以根据业务需要定制相应计算能力和存储空间的Kafka实例。

购买前须知

  • Kafka实例运行于虚拟私有云,购买实例前,需保证有可用的虚拟私有云,并且已配置好安全组与子网。
  • (可选)如果需要通过公网访问Kafka实例,请提前准备弹性IP地址。

操作步骤

  1. 进入购买Kafka实例页面
  2. 选择“计费模式”、“区域”、“项目”和“可用区”。
  3. 设置“实例名称”和“企业项目”。
  4. 设置实例信息。

    规格选择模式:选择“集群版”或者“规格测算”或者“单机版”。

    • 集群版:您需要根据实际情况自行选择集群版Kafka实例的版本号、代理规格、代理数量和存储空间。集群版实例支持Kafka 1.1.0、2.7和3.x版本。
    • 规格测算:系统根据您输入的参数(生产流量峰值、消费流量、单个Topic副本数、总分区数和老化时间内的生产消息量),为您计算出不同规格所需的代理个数和代理存储空间,您根据实际情况选择。
    • 单机版:创建一个2.7版本、单代理的实例,关于单机版实例具体的介绍请参见单机版实例介绍

    选择集群版时,您需要根据实际情况选择Kafka实例的版本号、代理规格、代理数量和存储空间。

    1. 版本:Kafka的版本号,支持1.1.0、2.7,根据实际情况选择,推荐使用2.7。实例创建后,版本号不支持修改
    2. CPU架构:支持“x86计算”,保持默认值即可。
    3. 在“代理规格”中,请根据业务需求选择相应的代理规格。

      单个代理最大分区数*代理个数=实例分区数上限。当所有Topic的总分区数大于实例分区数上限时,创建Topic失败。

    4. 在“代理数量”中,选择代理个数。
    5. 在“单个代理存储空间”区域,您根据实际需要选择存储Kafka数据的磁盘类型和总磁盘大小。Kafka实例创建后,磁盘类型不支持修改

      存储空间包含所有副本存储空间总和,建议根据业务消息体积以及副本数量选择存储空间大小。假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 + 预留磁盘大小100GB。

      创建实例时会进行磁盘格式化,磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。

    6. 在“容量阈值策略”区域,设置磁盘使用达到容量阈值后的消息处理策略,容量阈值为95%。
      • 自动删除:可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据存在丢失的风险。
      • 生产受限:无法继续生产消息,但可以继续消费消息。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。
    图1 默认的规格类型

    选择规格测算时,系统根据您输入的参数(生产流量峰值、消费流量、单个Topic副本数、总分区数和老化时间内的生产消息量),为您计算出不同规格所需的代理个数和代理存储空间,您根据实际情况选择。

    图2 规格测算

    选择单机版时,您可以创建一个2.7版本、单代理的实例。

    1. 版本:Kafka的版本号,仅支持2.7。
    2. CPU架构:支持“x86计算”,保持默认值即可。
    3. 在“代理规格”中,请根据业务需求选择相应的代理规格。
    4. 代理数量:只支持1个代理。
    5. 在“单个代理存储空间”区域,您根据实际需要选择存储Kafka数据的磁盘类型。磁盘容量默认为100GB,不支持修改。

      Kafka实例创建后,磁盘类型不支持修改

      创建实例时会进行磁盘格式化,磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。

    6. 在“容量阈值策略”区域,设置磁盘使用达到容量阈值后的消息处理策略,容量阈值为95%。
      • 自动删除:可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据存在丢失的风险。
      • 生产受限:无法继续生产消息,但可以继续消费消息。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。

  5. 设置实例网络环境信息。

    • 在“虚拟私有云”下拉列表,选择已经创建好的虚拟私有云和子网。

      虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。

      虚拟私有云和子网在Kafka实例创建完成后,不支持修改。

    • 在“内网IP地址”下拉列表,选择“自动分配”或“手动选择”。
      • 自动分配:系统自动分配子网中可用的IP地址。
      • 手动选择:在下拉框中勾选指定的IP地址。

      在“华北-北京四”、“华东-上海一”和“华南-广州”区域,“内网ip地址”移动到了“内网访问”中,具体请参见6

    • 在“安全组”下拉列表,可以选择已经创建好的安全组。

      安全组是一组对Kafka实例的访问规则的集合。您可以单击右侧的“管理安全组”,跳转到网络控制台的“安全组”页面,查看或创建安全组。

  6. 设置实例的访问方式。

    表1 实例的访问方式

    访问方式

    接入方式

    说明

    内网访问

    明文接入

    明文接入表示客户端连接Kafka实例时,无需进行SASL认证。

    内网访问不支持关闭,明文接入和密文接入至少开启一个。

    密文接入

    密文接入表示客户端连接Kafka实例时,需要进行SASL认证。

    内网访问不支持关闭,明文接入和密文接入至少开启一个。密文接入开启后,不支持关闭,如果需要关闭,请联系客服处理。

    开启“密文接入”后,需要设置kafka安全协议、SASL PLAIN机制、用户名和密码。

    内网IP地址

    根据实际需求选择“自动分配”或“手动选择”。

    • 自动分配:系统自动分配子网中可用的IP地址。
    • 手动选择:在下拉框中勾选指定的IP地址。如果指定的IP地址数量少于代理数量时,系统会自动为剩余代理分配IP地址。

    公网访问

    明文接入

    明文接入表示客户端连接Kafka实例时,无需进行SASL认证。

    开启/关闭明文接入,并设置公网访问连接地址。

    密文接入

    密文接入表示客户端连接Kafka实例时,需要进行SASL认证。

    开启/关闭密文接入,并设置公网访问连接地址。

    开启“密文接入”后,需要设置kafka安全协议、SASL PLAIN机制、用户名和密码。

    公网IP地址

    根据页面提示信息选择对应数量的公网IP地址。

    如果公网IP地址数量不足,请单击“创建弹性IP”跳转到弹性公网IP页面,创建公网IP地址。然后返回Kafka控制台,在“公网IP地址”后单击,刷新公网IP地址。

    Kafka实例不支持绑定IPv6的弹性公网IP,只支持绑定IPv4的弹性公网IP。

    单机版实例不支持密文接入。

    kafka安全协议、SASL PLAIN机制、用户名和密码的参数解释如下:

    表2 密文接入参数说明

    参数名称

    参数值

    说明

    kafka安全协议

    SASL_SSL

    采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。

    支持SCRAM-SHA-512机制和PLAIN机制。

    什么是SCRAM-SHA-512机制和PLAIN机制?

    • SCRAM-SHA-512机制:采用哈希算法对用户名与密码生成凭证,进行身份校验的安全认证机制,比PLAIN机制安全性更高。
    • PLAIN机制:一种简单的用户名密码校验机制。

    SASL_PLAINTEXT

    采用SASL方式进行认证,数据通过明文传输,性能更好。

    支持SCRAM-SHA-512机制和PLAIN机制。

    由于明文传输,建议使用SCRAM-SHA-512机制。

    SASL PLAIN机制

    -

    • 未开启“SASL PLAIN机制”时,使用SCRAM-SHA-512机制对账号密码进行认证。
    • 开启“SASL PLAIN机制”后,同时支持SCRAM-SHA-512机制和PLAIN机制,根据实际情况选择其中任意一种配置连接。

    密文接入成功开启后,SASL PLAIN机制不支持修改。

    用户名、密码

    -

    客户端用于连接Kafka实例的用户名和密码。

    密文接入成功开启后,用户名不支持修改。

    实例的访问方式仅在“华北-北京四”、“华东-上海一”和“华南-广州”区域上线。

  7. 设置“Kafka SASL_SSL”。

    客户端连接Kafka实例时,是否开启SASL认证。开启Kafka SASL_SSL,则数据加密传输,安全性更高。

    “Kafka SASL_SSL”默认为开启状态,Kafka实例创建后,Kafka SASL_SSL开关不支持修改,请慎重选择。如果创建后需要修改,需要重新创建实例。

    开启Kafka SASL_SSL后,您可以选择是否开启“SASL PLAIN 机制”。未开启“SASL PLAIN 机制”时,使用SCRAM-SHA-512机制传输数据,开启“SASL PLAIN 机制”后,同时支持SCRAM-SHA-512机制和PLAIN机制,根据实际情况选择其中任意一种配置连接。Kafka实例创建后,SASL PLAIN机制开关不支持修改。

    什么是SCRAM-SHA-512机制和PLAIN机制?

    • SCRAM-SHA-512机制:采用哈希算法对用户名与密码生成凭证,进行身份校验的安全认证机制,比PLAIN机制安全性更高。
    • PLAIN机制:一种简单的用户名密码校验机制。

    开启Kafka SASL_SSL后,您需要设置连接Kafka实例的用户名和密码。

    • 在“华北-北京四”、“华东-上海一”和“华南-广州”区域,“Kafka SASL_SSL”已调整了位置,移动到了“内网访问”和“公网访问”中,具体请参见6
    • 单机版实例不显示此参数。

  8. 设置实例购买时长。

    当选择了“包年/包月”付费模式时,页面才显示“购买时长”参数,您需要根据业务需要选择。

  9. 单击“更多配置”,设置更多相关信息。

    1. 设置“公网访问”。

      “公网访问”默认为关闭状态,您可以选择是否开启。

      开启公网访问后,还需要为每个代理设置对应的IPv4弹性IP地址。

      开启公网访问后,还可以选择是否开启VPC内网明文访问。如果开启了VPC内网明文访问,无论实例是否开启SASL_SSL,通过内网连接实例时,数据都将明文传输创建实例后,VPC内网明文访问开关不支持修改,请慎重选择。如果创建后需要修改,需要重新创建实例。

      在“华北-北京四”、“华东-上海一”和“华南-广州”区域,“公网访问”已调整了位置,移动到了“更多配置”外,具体请参见6

    2. 选择是否开启Smart Connect。

      Smart Connect用于异构系统间的数据同步,开启Smart Connect后,设置Smart Connect任务可以实现Kafka实例和其他云服务之间的数据同步,或者两个Kafka实例之间的数据同步。

      单机版实例不显示此参数。

    3. 设置“Kafka自动创建Topic”。

      “Kafka自动创建Topic”默认为关闭状态,您可以选择是否开启。

      开启“Kafka自动创建Topic”表示生产或消费一个未创建的Topic时,系统会自动创建此Topic,此Topic的默认参数值如下:分区数为3,副本数为3,老化时间为72小时,不开启同步复制和同步落盘。

      如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值,此后自动创建的Topic参数值为修改后的参数值。例如:“num.partitions”修改为“5”,自动创建的Topic参数值如下:分区数为5,副本数为3,老化时间为72小时,不开启同步复制和同步落盘。

    4. 设置“标签”。

      标签用于标识云资源,当您拥有相同类型的许多云资源时,可以使用标签按各种维度(例如用途、所有者或环境)对云资源进行分类。

      如您的组织已经设定分布式消息服务Kafka版的相关标签策略,则需按照标签策略规则为Kafka实例添加标签。标签如果不符合标签策略的规则,则可能会导致Kafka实例创建失败,请联系组织管理员了解标签策略详情。

      • 如果您已经预定义了标签,在“标签键”和“标签值”中选择已经定义的标签键值对。另外,您可以单击“查看预定义标签”,跳转到标签管理服务页面,查看已经预定义的标签,或者创建新的标签。
      • 您也可以直接在“标签键”和“标签值”中设置标签。

      当前每个Kafka实例最多支持设置20个不同标签,标签的命名规格,请参考管理实例标签章节。

    5. 设置实例的描述信息。

  10. 填写完上述信息后,单击“立即购买”,进入规格确认页面。
  11. 确认实例信息无误且阅读并同意《华为云用户协议》后,如果“计费模式”选择“包年/包月”,单击“去支付”。根据界面提示信息,支付费用。如果“计费模式”选择“按需付费”,单击“提交”。
  12. 在实例列表页面,查看Kafka实例是否创建成功。

    创建实例大约需要3到15分钟,此时实例的“状态”为“创建中”。

    • 当实例的“状态”变为“运行中”时,说明实例创建成功。
    • 当实例的“状态”变为“创建失败”,请参考删除实例,删除创建失败的实例,然后重新创建。如果重新创建仍然失败,请联系客服。

      创建失败的实例,不会占用其他资源。