Este conteúdo foi traduzido por máquina para sua conveniência e a Huawei Cloud não pode garantir que o conteúdo foi traduzido com precisão. Para exibir o conteúdo original, use o link no canto superior direito para mudar para a página em inglês.

Nesta página

Mostrar todos

Central de ajuda/ MapReduce Service/ Visão geral de serviço/ Componentes/ Kafka/ Princípios básicos de Kafka

Princípios básicos de Kafka

Atualizado em 2023-05-19 GMT+08:00

Ver PDF

Kafka é um serviço de log de commit de código aberto, distribuído, particionado e replicado. Kafka é uma mensagem de publicação-assinatura, repensada como um log de commit distribuído. Ele fornece recursos semelhantes ao Serviço de Mensagens do Java (JMS), mas outro design. Possui resistência a mensagens, alta taxa de transferência, métodos distribuídos, suporte a vários clientes e tempo real. Aplica-se ao consumo de mensagens on-line e off-line, como coleta regular de mensagens, rastreamento de atividade do site, agregação de dados de operação do sistema estatístico (dados de monitoramento) e coleta de logs. Esses cenários envolvem grandes quantidades de coleta de dados para serviços de Internet.

Estrutura de Kafka

Os produtores publicam dados sobre os tópicos e os consumidores assinam os tópicos e consomem mensagens. Um broker é um servidor em um cluster do Kafka. Para cada tópico, o cluster do Kafka mantém partições para escalabilidade, paralelismo e tolerância a falhas. Cada partição é uma sequência ordenada e imutável de mensagens que é continuamente anexada a - um log de commit. A cada mensagem em uma partição é atribuído um ID sequencial, que é chamado deslocamento.

Figura 1 Arquitetura de Kafka
Clique para ampliar

**Tabela 1** Descrição da arquitetura de Kafka
Nome	Descrição
Broker	Um broker é um servidor em um cluster do Kafka.
Tópico	Um tópico é uma categoria ou nome do feed no qual as mensagens são publicadas. Um tópico pode ser dividido em várias partições, que podem atuar como uma unidade paralela.
Partição	Uma partição é uma sequência ordenada e imutável de mensagens que é continuamente anexada a - um log de commit. As mensagens nas partições recebem um número de identificação sequencial chamado offset que identifica exclusivamente cada mensagem dentro da partição.
Produtor	Produtores publicam mensagens em um tópico do Kafka.
Consumidor	Os consumidores assinam tópicos e processam o feed de mensagens publicadas.

Figura 2 mostra as relações entre os módulos.

Figura 2 Relações entre os módulos de Kafka
Clique para ampliar

Os consumidores se rotulam com um nome de grupo de consumidores e cada mensagem publicada em um tópico é entregue a uma instância de consumidor dentro de cada grupo de consumidores inscrito. Se todas as instâncias de consumidores pertencerem ao mesmo grupo de consumidores, as cargas serão distribuídas uniformemente entre os consumidores. Como mostrado na figura anterior, Consumidor1 e Consumidor2 trabalham no modo de compartilhamento de carga; Consumidor3, Consumidor4, Consumidor5 e Consumidor6 trabalham no modo de compartilhamento de carga. Se todas as instâncias de consumidores pertencem a diferentes grupos de consumidores, as mensagens são transmitidas para todos os consumidores. Conforme mostrado na figura anterior, as mensagens no Tópico 1 são transmitidas para todos os consumidores no Grupo de Consumidores1 e no Grupo de Consumidores2.

Para detalhes sobre a arquitetura e os princípios de Kafka, veja https://kafka.apache.org/24/documentation.html.

Princípio

Confiabilidade da mensagem
Quando um broker de Kafka recebe uma mensagem, ele armazena a mensagem em um disco persistentemente. Cada partição de um tópico tem várias réplicas armazenadas em diferentes nós do broker. Se um nó estiver com defeito, as réplicas em outros nós poderão ser usadas.
Alta taxa de transferência
Kafka fornece alta taxa de transferência das seguintes maneiras:
- As mensagens são gravadas em discos em vez de serem armazenadas em cache na memória, utilizando totalmente o desempenho sequencial de leitura e gravação dos discos.
- O uso de cópia zero elimina as operações de I/O.
- Os dados são enviados em lotes, melhorando a utilização da rede.
- Cada tópico é dividido em várias partições, o que aumenta o processamento simultâneo. Operações simultâneas de leitura e gravação podem ser realizadas entre vários produtores e consumidores. Os produtores enviam mensagens para partições especificadas com base no algoritmo usado.
Mecanismo de assinatura-notificação de mensagem
Os consumidores se inscrevem em tópicos interessados e consomem dados no modo pull. Os consumidores podem escolher o modo de consumo, como consumo em lote, consumo repetido e consumo a partir do final, e controlar a velocidade de extração da mensagem com base na situação real. Os consumidores precisam manter os registros de consumo por si mesmos.
Escalabilidade
Quando nós de broker são adicionados para expandir a capacidade do cluster de Kafka, os brokers recém-adicionados se registram no ZooKeeper. Depois que o registro é bem sucedido, os procedimentos e os consumidores podem sentir a mudança em tempo hábil e fazer ajustes relacionados.

Recursos de código aberto

Confiabilidade
Métodos de processamento de mensagens como At-Least Once, At-Most Once e Exactly Once são fornecidos. O status de processamento de mensagens é mantido pelos consumidores. Kafka precisa trabalhar com a camada de aplicação para implementar Exactly Once.
Alta taxa de transferência
Alta taxa de transferência é fornecida para publicação e assinatura de mensagens.
Persistência
As mensagens são armazenadas em discos e podem ser usadas para consumo em lotes e programas de aplicações em tempo real. A persistência e a replicação de dados evitam a perda de dados.
Distribuição
Um sistema distribuído é fácil de ser expandido externamente. Todos os produtores, brokers e consumidores suportam a implementação de vários clusters distribuídos. Os sistemas podem ser dimensionados sem interromper a execução do software ou desligar as máquinas.

UI do Kafka

A interface do usuário do Kafka fornece serviços da Web do Kafka, exibe informações básicas sobre módulos funcionais, como brokers, tópicos, partições e consumidores em um cluster do Kafka e fornece entradas de operação para comandos comuns do Kafka. A interface do usuário do Kafka substitui o Kafka Manager para fornecer serviços da Web seguros do Kafka que atendam às especificações de segurança.

Você pode executar as seguintes operações na interface do usuário do Kafka:

Verifique o status do cluster (tópicos, consumidores, deslocamentos, partições, réplicas e nós).
Redistribua partições no cluster.
Crie um tópico com configurações de tópicos opcionais.
Exclua um tópico (suportado quando delete.topic.enable é definido como true para o serviço Kafka).
Adicione partições a um tópico existente.
Atualize configurações para um tópico existente.
Opcionalmente, ative a sondagem JMX para métricas no nível do broker e no nível do tópico.

Tópico principal: Kafka

Tópico anterior: Kafka

Próximo tópico: Relação entre Kafka e outros componentes

Feedback

Esta página foi útil?

Sim Não

Deixar um comentário

Obrigado por seus comentários. Estamos trabalhando para melhorar a documentação.

O sistema está ocupado. Tente novamente mais tarde.

Quais dos seguintes problemas você encontrou?

O conteúdo é inconsistente com a UI do produto

Descrições pouco claras

Falta de exemplos ou código

Passos incorretos

Não encontro o que preciso

Falta de melhores práticas

Feedback (opcional)

0/500

Selecione pelo menos um tipo de problema e insira seus comentários ou sugestões.

Insira um máximo de 500 caracteres.

Enviar Cancelar