Este conteúdo foi traduzido por máquina para sua conveniência e a Huawei Cloud não pode garantir que o conteúdo foi traduzido com precisão. Para exibir o conteúdo original, use o link no canto superior direito para mudar para a página em inglês.

Central de ajuda/ Distributed Message Service for Kafka/ Guia de usuário/ Monitoramento/ Métricas de Kafka

Atualizado em 2024-01-10 GMT+08:00

Ver PDF

Métricas de Kafka

Introdução

Esta seção descreve as métricas relatadas pelo DMS for Kafka para o Cloud Eye, bem como seus namespaces e dimensões. Você pode usar o console do Cloud Eye ou APIs para consultar as métricas e os alarmes do Kafka, ou visualize as métricas da instância do Kafka na página Monitoring do console doDMS for Kafka.

Por exemplo, você pode chamar API para consultar os dados de monitoramento da métrica Disk Capacity Usage.

Namespace

SYS.DMS

Métricas de instância

**Tabela 1** Métricas de instância
ID da métrica	Nome da métrica	Descrição	Intervalo de valor	Objeto monitorado	Período de monitoramento (dados brutos)
current_partitions	Partitions	Número de partições usadas na instância Unidade: contagem	0–1800	Instância de Kafka	1 minuto
current_topics	Topics	Número de tópicos criados na instância Unidade: contagem	0–1800	Instância de Kafka	1 minuto
group_msgs	Accumulated Messages	Número total de mensagens acumuladas em todos os grupos de consumidores da instância Unidade: contagem	0–1.000.000.000	Instância de Kafka	1 minuto

Métricas do broker

**Tabela 2** Métricas do broker
ID da métrica	Nome da métrica	Descrição	Intervalo de valor	Objeto monitorado	Período de monitoramento (dados brutos)
broker_data_size	Message Size	Tamanho total das mensagens no broker Unidade: byte, KB, MB, GB, TB ou PB	0–5.000.000.000.000	Broker de instância de Kafka	1 minuto
broker_messages_in_rate	Message Creation Rate	Número de mensagens criadas por segundo Unidade: contagem/s	0–500.000	Broker de instância de Kafka	1 minuto
broker_bytes_out_rate	Message Retrieval	Número de bytes recuperados por segundo Unidade: byte/s, KB/s, MB/s ou GB/s	0–500.000.000	Broker de instância de Kafka	1 minuto
broker_bytes_in_rate	Message Creation	Número de bytes criados por segundo Unidade: byte/s, KB/s, MB/s ou GB/s	0–500.000.000	Broker de instância de Kafka	1 minuto
broker_public_bytes_in_rate	Public Inbound Traffic	Tráfego de entrada em redes públicas por segundo Unidade: byte/s, KB/s, MB/s ou GB/s NOTA: Você pode exibir essa métrica no console do EIP se o acesso público tiver sido ativado e os EIP tiverem sido atribuídos à instância.	0–500.000.000	Broker de instância de Kafka	1 minuto
broker_public_bytes_out_rate	Public Outbound Traffic	Tráfego de saída em redes públicas por segundo Unidade: byte/s, KB/s, MB/s ou GB/s NOTA: Você pode exibir essa métrica no console do EIP se o acesso público tiver sido ativado e os EIP tiverem sido atribuídos à instância.	0–500.000.000	Broker de instância de Kafka	1 minuto
broker_fetch_mean	Average Message Retrieval Processing Duration	Tempo médio que o broker gasta processando solicitações de recuperação de mensagens Unidade: ms	0–10.000	Broker de instância de Kafka	1 minuto
broker_produce_mean	Average Message Creation Processing Duration	Tempo médio que o broker gasta processando solicitações de criação de mensagens Unidade: ms	0–10.000	Broker de instância de Kafka	1 minuto
broker_cpu_core_load	Average Load per CPU Core	Carga média de cada núcleo da CPU da VM do Kafka Unidade: %	0–20	Broker de instância de Kafka	1 minuto
broker_disk_usage	Disk Capacity Usage	Uso do disco da VM do Kafka Unidade: %	0–100	Broker de instância de Kafka	1 minuto
broker_memory_usage	Memory Usage	Uso da memória da VM do Kafka Unidade: %	0–100	Broker de instância de Kafka	1 minuto
broker_heap_usage	JVM Heap Memory Usage of Kafka	Uso de memória de heap da JVM do Kafka Unidade: %	0–100	Broker de instância de Kafka	1 minuto
broker_alive	Broker Alive	Se o broker de Kafka está ativo NOTA: Essa métrica é suportada por instâncias compradas em abril de 2020 ou posterior.	1: ativo 0: não ativo	Broker de instância de Kafka	1 minuto
broker_connections	Connections	Número total de conexões TCP no broker de Kafka Unidade: contagem NOTA: Essa métrica é suportada por instâncias compradas em abril de 2020 ou posterior.	0–65.535	Broker de instância de Kafka	1 minuto
broker_cpu_usage	CPU Usage	Uso da CPU da VM do Kafka Unidade: % NOTA: Essa métrica é suportada por instâncias compradas em abril de 2020 ou posterior.	0–100	Broker de instância de Kafka	1 minuto
broker_disk_read_await	Average Disk Read Time	Tempo médio para cada I/O de disco lido no período de monitoramento Unidade: ms NOTA: Essa métrica é suportada para instâncias compradas em junho de 2020 ou posterior.	> 0	Broker de instância de Kafka	1 minuto
broker_disk_write_await	Average Disk Write Time	Tempo médio para cada gravação de I/O de disco no período de monitoramento Unidade: ms NOTA: Essa métrica é suportada para instâncias compradas em junho de 2020 ou posterior.	> 0	Broker de instância de Kafka	1 minuto
broker_total_bytes_in_rate	Inbound Traffic	Tráfego de entrada por segundo Unidade: byte/s NOTA: Essa métrica é suportada para instâncias compradas em junho de 2020 ou posterior.	0–1.000.000.000	Broker de instância de Kafka	1 minuto
broker_total_bytes_out_rate	Outbound Traffic	Tráfego de saída por segundo Unidade: byte/s NOTA: Essa métrica é suportada para instâncias compradas em junho de 2020 ou posterior.	0–1.000.000.000	Broker de instância de Kafka	1 minuto
broker_disk_read_rate	Disk Read Speed	Tráfego de leitura no disco Unidade: byte/s, KB/s, MB/s ou GB/s NOTA: Essa métrica é compatível com instâncias compradas a partir de 16 de maio de 2022.	≥ 0	Broker de instância de Kafka	1 minuto
broker_disk_write_rate	Disk Write Speed	Tráfego de gravação no disco Unidade: byte/s, KB/s, MB/s ou GB/s NOTA: Essa métrica é compatível com instâncias compradas a partir de 16 de maio de 2022.	≥ 0	Broker de instância de Kafka	1 minuto
network_bandwidth_usage	Network Bandwidth Usage	Uso da largura de banda da rede Unidade: % NOTA: Esta métrica é suportada para instâncias compradas desde 9 de julho de 2023. Para instâncias compradas antes de 9 de julho de 2023, esta métrica é suportada para corretores se forem adicionados desde 9 de julho de 2023.	0–100	Broker de instância de Kafka	1 minuto

Métricas do tópico

**Tabela 3** Métricas do tópico
ID da métrica	Nome da métrica	Descrição	Intervalo de valor	Objeto monitorado	Período de monitoramento (dados brutos)
topic_bytes_in_rate	Message Creation	Número de bytes criados por segundo Unidade: byte/s, KB/s, MB/s ou GB/s NOTA: Essa métrica está disponível somente quando Scope é definido como Basic monitoring na página de guia By Topic.	0–500.000.000	Tópico em uma instância de Kafka	1 minuto
topic_bytes_out_rate	Message Retrieval	Número de bytes recuperados por segundo Unidade: byte/s, KB/s, MB/s ou GB/s NOTA: Essa métrica está disponível somente quando Scope é definido como Basic monitoring na página de guia By Topic.	0–500.000.000	Tópico em uma instância de Kafka	1 minuto
topic_data_size	Message Size	Tamanho total das mensagens na fila Unidade: byte, KB, MB, GB, TB ou PB NOTA: Essa métrica está disponível somente quando Scope é definido como Basic monitoring na página de guia By Topic.	0–5.000.000.000.000	Tópico em uma instância de Kafka	1 minuto
topic_messages	Total Messages	Número total de mensagens na fila Unidade: contagem NOTA: Essa métrica está disponível somente quando Scope é definido como Basic monitoring na página de guia By Topic.	≥ 0	Tópico em uma instância de Kafka	1 minuto
topic_messages_in_rate	Message Creation Rate	Número de mensagens criadas por segundo Unidade: contagem/s NOTA: Essa métrica está disponível somente quando Scope é definido como Basic monitoring na página de guia By Topic.	0–500.000	Tópico em uma instância de Kafka	1 minuto
partition_messages	Partition Messages	Número total de mensagens na partição Unidade: contagem NOTA: Essa métrica está disponível somente quando Scope está definido como Partition monitoring na página de guia By Topic.	≥ 0	Tópico em uma instância de Kafka	1 minuto
produced_messages	Created Messages	Número de mensagens que foram criadas Unidade: contagem NOTA: Essa métrica está disponível somente quando Scope está definido como Partition monitoring na página de guia By Topic.	≥ 0	Tópico em uma instância de Kafka	1 minuto

Métricas do grupo de consumidores

**Tabela 4** Métricas do grupo de consumidores
ID da métrica	Nome da métrica	Descrição	Intervalo de valor	Objeto monitorado	Período de monitoramento (dados brutos)
messages_consumed	Retrieved Messages	Número de mensagens que foram recuperadas no grupo de consumidores Unidade: contagem NOTA: Essa métrica está disponível somente quando Topic é definido como um nome de tópico específico e Monitoring Type é definido como Partition monitoring na página de guia By Consumer Group.	≥ 0	Grupo de consumidores de uma instância de Kafka	1 minuto
messages_remained	Available Messages	Número de mensagens que podem ser recuperadas no grupo de consumidores Unidade: contagem NOTA: Essa métrica está disponível somente quando Topic é definido como um nome de tópico específico e Monitoring Type é definido como Partition monitoring na página de guia By Consumer Group.	≥ 0	Grupo de consumidores de uma instância de Kafka	1 minuto
topic_messages_remained	Topic Available Messages	Número de mensagens restantes que podem ser recuperadas do tópico especificado no grupo de consumidores Unidade: contagem NOTA: Essa métrica está disponível somente quando Topic é definido como um nome de tópico específico e Monitoring Type é definido como Basic monitoring na página de guia By Consumer Group.	0 a 2⁶³–1	Grupo de consumidores de uma instância de Kafka	1 minuto
topic_messages_consumed	Topic Retrieved Messages	Número de mensagens que foram recuperadas do tópico especificado no grupo de consumidores Unidade: contagem NOTA: Essa métrica está disponível somente quando Topic é definido como um nome de tópico específico e Monitoring Type é definido como Basic monitoring na página de guia By Consumer Group.	0 a 2⁶³–1	Grupo de consumidores de uma instância de Kafka	1 minuto
consumer_messages_remained	Accumulated Messages (Consumer Available Messages)	Número de mensagens restantes que podem ser recuperadas no grupo de consumidores Unidade: contagem NOTA: Essa métrica está disponível somente quando Topic está definido como All topics na página de guia By Consumer Group.	0 a 2⁶³–1	Grupo de consumidores de uma instância de Kafka	1 minuto
consumer_messages_consumed	Consumer Retrieved Messages	Número de mensagens que foram recuperadas no grupo de consumidores Unidade: contagem NOTA: Essa métrica está disponível somente quando Topic está definido como All topics na página de guia By Consumer Group.	0 a 2⁶³–1	Grupo de consumidores de uma instância de Kafka	1 minuto

Métricas de Smart Connect

**Tabela 5** Métricas de Smart Connect
ID da métrica	Nome da métrica	Descrição	Intervalo de valor	Objeto monitorado	Período de monitoramento (dados brutos)
redis_wait_synchronize_data	Redis Data to Sync	Dados a serem sincronizados na tarefa de migração do Redis Unidade: byte, KB, MB, GB, TB ou PB	≥ 0	Tarefa de Smart Connect de uma instância do Kafka	1 minuto
redis_synchronize_rate	Redis Data Synced per Minute	Dados sincronizados por minuto na tarefa de migração do Redis Unidade: byte, KB, MB, GB, TB ou PB	≥ 0	Tarefa de Smart Connect de uma instância do Kafka	1 minuto
kafka_wait_synchronize_data	Kafka Data to Sync	Dados a sincronizar na tarefa de migração do Kafka Unidade: contagem	≥ 0	Tarefa de Smart Connect de uma instância do Kafka	1 minuto
kafka_synchronize_rate	Kafka Data Synced per Minute	Dados sincronizados por minuto na tarefa de migração do Kafka Unidade: contagem	≥ 0	Tarefa de Smart Connect de uma instância do Kafka	1 minuto
task_status	Task Status	Status da tarefa atual	0: anormal 1: normal	Tarefa de Smart Connect de uma instância do Kafka	1 minuto
message_delay	Message Delay	Tempo decorrido entre quando uma mensagem é enviada da origem e recebida pelo destino Unidade: ms NOTA: Essa métrica não se aplica a tarefas cuja origem é o Redis, porque o Redis não registra o horário de chegada da mensagem.	≥ 0	Tarefa de Smart Connect de uma instância do Kafka	1 minuto

Uma tarefa de Smart Connect que copia dados do Redis ou despeja dados do Redis no OBS é dividida em duas tarefas para monitoramento: Smart Connect task name_source_0 e Smart Connect task name_sink_0.
A tarefa Smart Connect task name_source_0 copia os dados do Redis de origem para o tópico de Kafka. Nesse processo, Redis Data to Sync, Redis Data Synced per Minute e Task Status são monitorados. A tarefa Smart Connect task name_sink_0 copia os dados do Redis de origem do tópico de Kafka para a instância do Redis de destino ou bucket do OBS. Nesse processo, Kafka Data to Sync, Kafka Data Synced per Minute e Task Status são monitorados.

Os dados do Redis e do Kafka não coexistirão na mesma tarefa.
Em uma tarefa de Smart Connect que copia dados do Redis, Redis Data to Sync e Redis Data Synced per Minute não serão exibidos como 0 mesmo que o Redis de origem não tenha dados para sincronizar. É porque o Redis aumenta automaticamente os deslocamentos.
Uma tarefa de Smart Connect que copia dados do Kafka bidirecionalmente é dividida em duas tarefas para monitoramento: Smart Connect task name_source_0 e Smart Connect task name_source_1.
Se todas as mensagens em um tópico tiverem expirado antes da próxima sincronização, não há dados do Kafka a serem sincronizados. No entanto, como a métrica de sincronização de dados do Kafka usa o valor de deslocamento que contém dados antigos, Kafka Data Synced per Minute exibirá o número de mensagens antigas.

Dimensão

Chave	Valor
kafka_instance_id	Instância de Kafka
kafka_broker	Broker de instância de Kafka
kafka_topics	Tópico da instância de Kafka
kafka_partitions	Partição em uma instância de Kafka
kafka_groups-partitions	Grupo de consumidores de partição em uma instância do Kafka
kafka_groups_topics	Grupo de consumidores de tópicos em uma instância do Kafka
kafka_groups	Grupo de consumidores de uma instância de Kafka
connector_task	Tarefa de Smart Connect de uma instância do Kafka