Conceitos básicos

Tópico

Um tópico é uma categoria para mensagens. As mensagens são criadas, recuperadas e gerenciadas na forma de tópicos.

Os tópicos adotam o padrão de publicação-assinatura. Produtores publicam mensagens em tópicos. Um ou mais consumidores assinam as mensagens nos tópicos. Produtores e consumidores não estão diretamente ligados entre si.

Produtor

Um produtor publica mensagens em tópicos. As mensagens são então entregues a outros sistemas ou módulos para processamento conforme acordado.

Consumidor

Um consumidor assina mensagens em tópicos e processa as mensagens. Por exemplo, uma plataforma de monitoramento e alarme (um consumidor) que se inscreva para registrar mensagens em determinados tópicos pode identificar logs de alarme e, em seguida, enviar notificações de alarme por SMS ou e-mail.

Broker

Um broker é um processo de Kafka em um cluster de Kafka. Cada processo é executado em um servidor, portanto, um broker inclui o armazenamento, a largura de banda e outros recursos do servidor.

Partição

Um tópico é dividido em partições. As mensagens são distribuídas para várias partições para obter escalabilidade e tolerância a falhas.

Réplicas

Uma réplica é uma cópia redundante de uma partição em um tópico. Cada partição pode ter uma ou mais réplicas, permitindo a confiabilidade da mensagem.

As mensagens em cada partição são totalmente replicadas e sincronizadas, evitando a perda de dados se uma réplica falhar.

Cada partição tem uma réplica como o líder que lida com a criação e recuperações de todas as mensagens. As restantes réplicas são seguidores que replicam o líder.

Tempo de envelhecimento

O período durante o qual as mensagens são retidas. Os consumidores devem recuperar as mensagens antes que esse período termine. Caso contrário, as mensagens serão apagadas e não poderão mais ser recuperadas.