更新时间:2025-08-21 GMT+08:00

自动扩容Kafka实例存储空间

Kafka实例的磁盘使用量达到容量阈值时会触发对应的阈值处理策略,可能会导致消息被删除或无法继续生产消息。为了避免以上情况,您可以开启自动磁盘扩容功能。

约束与限制

  • 老实例不支持自动磁盘扩容功能,具体以控制台显示为准。
  • 单机实例不支持自动磁盘扩容。
  • 如果短时间内磁盘使用量迅速增加,无法保证在磁盘使用量到达容量阈值前完成自动磁盘扩容。
  • 自动扩容存储空间不会影响业务。

前提条件

扩容Kafka实例存储空间会产生相应的费用,确保账户有充足的余额,避免因余额不足导致扩容失败。Kafka实例存储空间的具体价格请参考价格详情

Kafka授权

开启自动扩容存储空间前,需要先获取“DMS BSSAccess”权限,否则会导致自动扩容失败。

  1. 使用主账号或者“admin”用户组中的子账号登录Kafka控制台
  2. 在管理控制台左上角单击,选择区域。
  3. 在左侧导航栏选择“服务授权”,进入“服务授权”页面。
  4. 勾选“访问费用中心服务”,单击“更新授权”。
  5. 授权成功后,会在IAM中创建名为“dms_admin_trust”的委托。

    “dms_admin_trust”创建成功后,请勿修改或者删除。

开启自动扩容存储空间

  1. 登录Kafka控制台
  2. 在管理控制台左上角单击,选择Kafka实例所在的区域。
  3. 单击Kafka实例的名称,进入Kafka实例的概览页面。
  4. 在“实例信息”区域的“自动磁盘扩容”后,单击,弹出“自动磁盘扩容”对话框。
  5. 单击,并设置如表1所示参数。

    表1 自动磁盘扩容参数说明

    参数

    说明

    扩容阈值

    设置触发磁盘自动扩容的阈值,取值范围:20%~80%。

    当Kafka集群实例中任意一个节点的磁盘使用量达到此阈值时,会自动触发磁盘扩容。

    扩容步长

    设置待扩容的存储空间占实例总存储空间的比例,取值范围:10%-100%。最小扩容步长为100GB,如果待扩容的存储空间不是100的倍数时,补足100。

    例如:实例总存储空间为300GB,扩容步长为10%,待扩容的存储空间=300*10%=30,由于30不是100的倍数,补足100,所以待扩容的存储空间为100GB。

    扩容上限

    设置自动扩容存储空间的上限,实例总存储空间到达此上限后,实例不会再自动扩容存储空间。

  6. 单击“确定”,完成自动磁盘扩容的设置。

    设置成功后,在Kafka实例概览页面的“实例信息”区域,查看“自动磁盘扩容”变为“开启”。

关闭自动扩容存储空间

  1. 登录Kafka控制台
  2. 在管理控制台左上角单击,选择Kafka实例所在的区域。
  3. 单击Kafka实例的名称,进入Kafka实例的概览页面。
  4. 在“实例信息”区域的“自动磁盘扩容”后,单击,弹出“自动磁盘扩容”对话框。
  5. 在“自动磁盘扩容”所在行,单击,然后单击“确定”。

    设置成功后,在Kafka实例概览页面的“实例信息”区域,查看“自动磁盘扩容”变为“关闭”。