Kafka Manager
O Kafka Manager é uma ferramenta de código aberto para gerenciar o Kafka. Ele pode ser usado apenas através de um navegador da Web. No Kafka Manager, você pode exibir as estatísticas de monitoramento e as informações de agente dos clusters do Kafka.
As instâncias criadas desde 17 de maio de 2023 não têm o Kafka Manager. As funções do Kafka Manager são fornecidas no console do Kafka.
Kafka Manager |
Console do Kafka |
---|---|
Exibir tópicos sobre uma instância |
Veja a lista de tópicos na página Topics. |
Exibir informações básicas sobre um tópico |
Veja as informações básicas (incluindo o número de réplicas, o número de partições e o tempo de envelhecimento) sobre cada tópico na página Topics. |
Reatribuir partições de tópico |
Reatribua partições automaticamente ou manualmente na página Topics. |
Atualizar configurações de tópicos |
Modifique os parâmetros de configuração do tópico na página Topics. |
Exibir a lista de grupos de consumidores |
Exiba a lista de grupos de consumidores na página Consumer Groups. |
Exibir detalhes sobre um consumidor específico |
Na página Consumer Groups, clique no nome de um grupo de consumidores para ir até a página de detalhes do grupo de consumidores e exibir os consumidores e seu progresso. |
Exibir detalhes de tópicos em um grupo de consumidores |
Na página Consumer Groups, clique em um nome de grupo de consumidores para ir para a página de detalhes do grupo de consumidores. Na página de guia Consumer Offset, exiba a lista de tópicos do grupo de consumidores, o número de mensagens acumuladas em cada tópico e o status de consumo de cada partição. |
Monitorar o cluster ou tópicos |
Exiba informações de monitoramento na página Monitoring. |
Pré-requisitos
As regras do grupo de segurança foram configuradas referindo-se a Tabela 2.
Fazer logon no Kafka Manager
- Crie um ECS do Windows com as mesmas configurações de VPC e grupo de segurança que a instância do Kafka. Para obter detalhes, consulte Compra de um ECS.
Se o acesso público tiver sido ativado, esta etapa será opcional. Você pode acessar a instância usando o navegador local. Não é necessário criar um ECS do Windows.
- Obtenha o endereço do Kafka Manager na página de detalhes da instância.
- Se o acesso à rede pública estiver desativado, o endereço do Kafka Manager é Manager Address (Private Network).
Figura 1 Endereço do Kafka Manager (rede privada)
- Se o acesso à rede pública estiver ativado, o endereço do Kafka Manager é Manager Address (Public Network).
Figura 2 Endereço do Kafka Manager (rede pública)
- Se o acesso à rede pública estiver desativado, o endereço do Kafka Manager é Manager Address (Private Network).
- Digite o endereço do Kafka Manager no navegador da Web no ECS de Windows.
Se o acesso público estiver ativado, insira o endereço do Kafka Manager na barra de endereços do navegador no PC local. Se o acesso público não estiver ativado, efetue logon no ECS preparado no 1 e digite o endereço do Kafka Manager na barra de endereços do navegador.
- Digite o nome de usuário e a senha para efetuar logon no Kafka Manager, que você definiu ao criar a instância.
Exibir Informações no Kafka Manager
No Kafka Manager, você pode exibir as estatísticas de monitoramento e as informações de agente dos clusters do Kafka.
- Informações sobre clusters
Clique em Clusters para exibir as informações sobre clusters. Figura 3 mostra um exemplo das informações do cluster.
- A barra de navegação superior fornece as seguintes funções, como mostrado na caixa vermelha 1 na figura.
- Cluster: exibir a lista de clusters e informações de clusters.
- Brokers: visualizar informações sobre brokers de um cluster.
- Topic: exibir informações sobre tópicos em um cluster.
- Preferred Replica Election: eleger o líder (réplica preferida) de um tópico. Esta operação não é recomendada.
- Reassign Partitions: reatribuir partições. Esta operação não é recomendada.
- Consumers: visualizar o status de grupos de consumidores em um cluster.
- A caixa vermelha 2 mostra um exemplo do resumo de informações do cluster, incluindo o número de tópicos e brokers no cluster.
- A barra de navegação superior fornece as seguintes funções, como mostrado na caixa vermelha 1 na figura.
- Informações combinadas sobre todos os brokers de um cluster
Esta página mostra estatísticas de brokers de um cluster. Figura 4 mostra um exemplo da configuração de armazenamento.
- A caixa vermelha 1 mostra a lista de brokers, incluindo o número de bytes de entrada e saída de diferentes brokers.
- A caixa vermelha 2 mostra as métricas de monitoramento do cluster.
- Informações sobre um broker específico
Clique no ID de um broker para visualizar suas estatísticas. Figura 5 mostra um exemplo da configuração de armazenamento.
- A caixa vermelha 1 mostra as estatísticas do broker, incluindo o número de tópicos, partições e líderes e porcentagens de mensagens, tráfego de entrada e tráfego de saída.
- A caixa vermelha 2 mostra as métricas de monitoramento do broker.
- Tópicos de uma instância
Na barra de navegação, escolha Topic > List. A página exibida mostra a lista de tópicos e informações sobre os tópicos, conforme mostrado na Figura 6.
Os tópicos que começam com "__" são tópicos internos. Para evitar falhas de serviço, não execute nenhuma operação nesses tópicos.
- Detalhes de um tópico
Clique no nome de um tópico para exibir seus detalhes na página exibida, conforme mostrado na Figura 7.
- Caixa vermelha 1: informações básicas sobre o tópico, incluindo Replication, Number of Partitions, e Sum of Partition Offsets.
- Caixa vermelha 2: informações sobre partições de diferentes brokers.
- Caixa vermelha 3: grupos de consumidores do tema. Clique no nome de um nome de grupo de consumidores para exibir seus detalhes.
- Caixa vermelha 4: configurações do tópico. Para obter detalhes, consulte https://kafka.apache.org/documentation/#topicconfigs.
- Caixa vermelha 5: métricas de monitoramento do tópico.
- Caixa vermelha 6: informações sobre partições no tópico, incluindo Latest Offset, Leader de uma partição, Replicas, e In Sync Replicas.
- Lista de consumidores
Clique em Consumers para exibir a lista de consumidores em um cluster.
Somente os grupos de consumidores que recuperaram mensagens nos últimos 14 dias são exibidos.
Figura 8 Visualizar a lista de consumidores
- Detalhes de um consumidor específico
Clique no nome de um consumidor para exibir seus detalhes, incluindo a lista de tópicos no consumidor e o número de mensagens que podem ser recuperadas em cada tópico (Total Lag).
Figura 9 Visualizar detalhes do consumidor
- Detalhes de tópicos em um consumidor
Clique no nome de um tópico para exibir detalhes de recuperação de diferentes partições no tópico, incluindo Partition, o número de mensagens em uma partição (LogSize), o andamento da recuperação (Consumer Offset), o número de mensagens restantes na partição que podem ser recuperadas (Lag) e o último consumidor recuperado da partição (Consumer Instance Owner).
Figura 10 Visualizar detalhes de um tópico