Como selecionar espaço de armazenamento para uma instância do Kafka?
O espaço de armazenamento é o espaço para armazenar mensagens (incluindo mensagens em réplicas), logs e metadados. Ao especificar o espaço de armazenamento, especifique o tipo e o tamanho do disco. Para obter mais informações sobre discos, consulte Tipos de disco e desempenho.
Por exemplo, se o tamanho do disco necessário para armazenar dados para o período de retenção for 100 GB, a capacidade do disco deverá ser de pelo menos: 100 GB x Número de réplicas + 100 GB (espaço reservado). Em um cluster do Kafka, cada nó usa um disco de 33 GB para armazenar logs e dados do ZooKeeper. Portanto, o espaço de armazenamento disponível real é menor do que o espaço de armazenamento comprado.
O número de réplicas (3 por padrão) pode ser configurado quando você cria um tópico. Se a criação automática de tópicos tiver sido ativada, cada tópico criado automaticamente terá três réplicas por padrão. Você pode alterar essa quantidade definindo default.replication.factor na página de guia Parameters.