Métricas de Kafka
Introdução
Esta seção descreve as métricas relatadas pelo DMS for Kafka para o Cloud Eye, bem como seus namespaces e dimensões. Você pode usar o console do Cloud Eye ou APIs para consultar as métricas e os alarmes do Kafka, ou visualize as métricas da instância do Kafka na página Monitoring do console doDMS for Kafka.
Por exemplo, você pode chamar API para consultar os dados de monitoramento da métrica Disk Capacity Usage.
Namespace
SYS.DMS
Métricas de instância
|
ID da métrica |
Nome da métrica |
Descrição |
Intervalo de valor |
Objeto monitorado |
Período de monitoramento (dados brutos) |
|---|---|---|---|---|---|
|
current_partitions |
Partitions |
Número de partições usadas na instância Unidade: contagem |
0–1800 |
Instância de Kafka |
1 minuto |
|
current_topics |
Topics |
Número de tópicos criados na instância Unidade: contagem |
0–1800 |
Instância de Kafka |
1 minuto |
|
group_msgs |
Accumulated Messages |
Número total de mensagens acumuladas em todos os grupos de consumidores da instância Unidade: contagem |
0–1.000.000.000 |
Instância de Kafka |
1 minuto |
Métricas do broker
|
ID da métrica |
Nome da métrica |
Descrição |
Intervalo de valor |
Objeto monitorado |
Período de monitoramento (dados brutos) |
|---|---|---|---|---|---|
|
broker_data_size |
Message Size |
Tamanho total das mensagens no broker Unidade: byte, KB, MB, GB, TB ou PB |
0–5.000.000.000.000 |
Broker de instância de Kafka |
1 minuto |
|
broker_messages_in_rate |
Message Creation Rate |
Número de mensagens criadas por segundo Unidade: contagem/s |
0–500.000 |
Broker de instância de Kafka |
1 minuto |
|
broker_bytes_out_rate |
Message Retrieval |
Número de bytes recuperados por segundo Unidade: byte/s, KB/s, MB/s ou GB/s |
0–500.000.000 |
Broker de instância de Kafka |
1 minuto |
|
broker_bytes_in_rate |
Message Creation |
Número de bytes criados por segundo Unidade: byte/s, KB/s, MB/s ou GB/s |
0–500.000.000 |
Broker de instância de Kafka |
1 minuto |
|
broker_public_bytes_in_rate |
Public Inbound Traffic |
Tráfego de entrada em redes públicas por segundo Unidade: byte/s, KB/s, MB/s ou GB/s  NOTA:
Você pode exibir essa métrica no console do EIP se o acesso público tiver sido ativado e os EIP tiverem sido atribuídos à instância. |
0–500.000.000 |
Broker de instância de Kafka |
1 minuto |
|
broker_public_bytes_out_rate |
Public Outbound Traffic |
Tráfego de saída em redes públicas por segundo Unidade: byte/s, KB/s, MB/s ou GB/s NOTA:
Você pode exibir essa métrica no console do EIP se o acesso público tiver sido ativado e os EIP tiverem sido atribuídos à instância. |
0–500.000.000 |
Broker de instância de Kafka |
1 minuto |
|
broker_fetch_mean |
Average Message Retrieval Processing Duration |
Tempo médio que o broker gasta processando solicitações de recuperação de mensagens Unidade: ms |
0–10.000 |
Broker de instância de Kafka |
1 minuto |
|
broker_produce_mean |
Average Message Creation Processing Duration |
Tempo médio que o broker gasta processando solicitações de criação de mensagens Unidade: ms |
0–10.000 |
Broker de instância de Kafka |
1 minuto |
|
broker_cpu_core_load |
Average Load per CPU Core |
Carga média de cada núcleo da CPU da VM do Kafka Unidade: % |
0–20 |
Broker de instância de Kafka |
1 minuto |
|
broker_disk_usage |
Disk Capacity Usage |
Uso do disco da VM do Kafka Unidade: % |
0–100 |
Broker de instância de Kafka |
1 minuto |
|
broker_memory_usage |
Memory Usage |
Uso da memória da VM do Kafka Unidade: % |
0–100 |
Broker de instância de Kafka |
1 minuto |
|
broker_heap_usage |
JVM Heap Memory Usage of Kafka |
Uso de memória de heap da JVM do Kafka Unidade: % |
0–100 |
Broker de instância de Kafka |
1 minuto |
|
broker_alive |
Broker Alive |
Se o broker de Kafka está ativo NOTA:
Essa métrica é suportada por instâncias compradas em abril de 2020 ou posterior. |
|
Broker de instância de Kafka |
1 minuto |
|
broker_connections |
Connections |
Número total de conexões TCP no broker de Kafka Unidade: contagem NOTA:
Essa métrica é suportada por instâncias compradas em abril de 2020 ou posterior. |
0–65.535 |
Broker de instância de Kafka |
1 minuto |
|
broker_cpu_usage |
CPU Usage |
Uso da CPU da VM do Kafka Unidade: % NOTA:
Essa métrica é suportada por instâncias compradas em abril de 2020 ou posterior. |
0–100 |
Broker de instância de Kafka |
1 minuto |
|
broker_disk_read_await |
Average Disk Read Time |
Tempo médio para cada I/O de disco lido no período de monitoramento Unidade: ms NOTA:
Essa métrica é suportada para instâncias compradas em junho de 2020 ou posterior. |
> 0 |
Broker de instância de Kafka |
1 minuto |
|
broker_disk_write_await |
Average Disk Write Time |
Tempo médio para cada gravação de I/O de disco no período de monitoramento Unidade: ms NOTA:
Essa métrica é suportada para instâncias compradas em junho de 2020 ou posterior. |
> 0 |
Broker de instância de Kafka |
1 minuto |
|
broker_total_bytes_in_rate |
Inbound Traffic |
Tráfego de entrada por segundo Unidade: byte/s NOTA:
Essa métrica é suportada para instâncias compradas em junho de 2020 ou posterior. |
0–1.000.000.000 |
Broker de instância de Kafka |
1 minuto |
|
broker_total_bytes_out_rate |
Outbound Traffic |
Tráfego de saída por segundo Unidade: byte/s NOTA:
Essa métrica é suportada para instâncias compradas em junho de 2020 ou posterior. |
0–1.000.000.000 |
Broker de instância de Kafka |
1 minuto |
|
broker_disk_read_rate |
Disk Read Speed |
Tráfego de leitura no disco Unidade: byte/s, KB/s, MB/s ou GB/s NOTA:
Essa métrica é compatível com instâncias compradas a partir de 16 de maio de 2022. |
≥ 0 |
Broker de instância de Kafka |
1 minuto |
|
broker_disk_write_rate |
Disk Write Speed |
Tráfego de gravação no disco Unidade: byte/s, KB/s, MB/s ou GB/s NOTA:
Essa métrica é compatível com instâncias compradas a partir de 16 de maio de 2022. |
≥ 0 |
Broker de instância de Kafka |
1 minuto |
|
network_bandwidth_usage |
Network Bandwidth Usage |
Uso da largura de banda da rede Unidade: % NOTA:
|
0–100 |
Broker de instância de Kafka |
1 minuto |
Métricas do tópico
|
ID da métrica |
Nome da métrica |
Descrição |
Intervalo de valor |
Objeto monitorado |
Período de monitoramento (dados brutos) |
|---|---|---|---|---|---|
|
topic_bytes_in_rate |
Message Creation |
Número de bytes criados por segundo Unidade: byte/s, KB/s, MB/s ou GB/s NOTA:
Essa métrica está disponível somente quando Scope é definido como Basic monitoring na página de guia By Topic. |
0–500.000.000 |
Tópico em uma instância de Kafka |
1 minuto |
|
topic_bytes_out_rate |
Message Retrieval |
Número de bytes recuperados por segundo Unidade: byte/s, KB/s, MB/s ou GB/s NOTA:
Essa métrica está disponível somente quando Scope é definido como Basic monitoring na página de guia By Topic. |
0–500.000.000 |
Tópico em uma instância de Kafka |
1 minuto |
|
topic_data_size |
Message Size |
Tamanho total das mensagens na fila Unidade: byte, KB, MB, GB, TB ou PB NOTA:
Essa métrica está disponível somente quando Scope é definido como Basic monitoring na página de guia By Topic. |
0–5.000.000.000.000 |
Tópico em uma instância de Kafka |
1 minuto |
|
topic_messages |
Total Messages |
Número total de mensagens na fila Unidade: contagem NOTA:
Essa métrica está disponível somente quando Scope é definido como Basic monitoring na página de guia By Topic. |
≥ 0 |
Tópico em uma instância de Kafka |
1 minuto |
|
topic_messages_in_rate |
Message Creation Rate |
Número de mensagens criadas por segundo Unidade: contagem/s NOTA:
Essa métrica está disponível somente quando Scope é definido como Basic monitoring na página de guia By Topic. |
0–500.000 |
Tópico em uma instância de Kafka |
1 minuto |
|
partition_messages |
Partition Messages |
Número total de mensagens na partição Unidade: contagem NOTA:
Essa métrica está disponível somente quando Scope está definido como Partition monitoring na página de guia By Topic. |
≥ 0 |
Tópico em uma instância de Kafka |
1 minuto |
|
produced_messages |
Created Messages |
Número de mensagens que foram criadas Unidade: contagem NOTA:
Essa métrica está disponível somente quando Scope está definido como Partition monitoring na página de guia By Topic. |
≥ 0 |
Tópico em uma instância de Kafka |
1 minuto |
Métricas do grupo de consumidores
|
ID da métrica |
Nome da métrica |
Descrição |
Intervalo de valor |
Objeto monitorado |
Período de monitoramento (dados brutos) |
|---|---|---|---|---|---|
|
messages_consumed |
Retrieved Messages |
Número de mensagens que foram recuperadas no grupo de consumidores Unidade: contagem NOTA:
Essa métrica está disponível somente quando Topic é definido como um nome de tópico específico e Monitoring Type é definido como Partition monitoring na página de guia By Consumer Group. |
≥ 0 |
Grupo de consumidores de uma instância de Kafka |
1 minuto |
|
messages_remained |
Available Messages |
Número de mensagens que podem ser recuperadas no grupo de consumidores Unidade: contagem NOTA:
Essa métrica está disponível somente quando Topic é definido como um nome de tópico específico e Monitoring Type é definido como Partition monitoring na página de guia By Consumer Group. |
≥ 0 |
Grupo de consumidores de uma instância de Kafka |
1 minuto |
|
topic_messages_remained |
Topic Available Messages |
Número de mensagens restantes que podem ser recuperadas do tópico especificado no grupo de consumidores Unidade: contagem NOTA:
Essa métrica está disponível somente quando Topic é definido como um nome de tópico específico e Monitoring Type é definido como Basic monitoring na página de guia By Consumer Group. |
0 a 263–1 |
Grupo de consumidores de uma instância de Kafka |
1 minuto |
|
topic_messages_consumed |
Topic Retrieved Messages |
Número de mensagens que foram recuperadas do tópico especificado no grupo de consumidores Unidade: contagem NOTA:
Essa métrica está disponível somente quando Topic é definido como um nome de tópico específico e Monitoring Type é definido como Basic monitoring na página de guia By Consumer Group. |
0 a 263–1 |
Grupo de consumidores de uma instância de Kafka |
1 minuto |
|
consumer_messages_remained |
Accumulated Messages (Consumer Available Messages) |
Número de mensagens restantes que podem ser recuperadas no grupo de consumidores Unidade: contagem NOTA:
Essa métrica está disponível somente quando Topic está definido como All topics na página de guia By Consumer Group. |
0 a 263–1 |
Grupo de consumidores de uma instância de Kafka |
1 minuto |
|
consumer_messages_consumed |
Consumer Retrieved Messages |
Número de mensagens que foram recuperadas no grupo de consumidores Unidade: contagem NOTA:
Essa métrica está disponível somente quando Topic está definido como All topics na página de guia By Consumer Group. |
0 a 263–1 |
Grupo de consumidores de uma instância de Kafka |
1 minuto |
Métricas de Smart Connect
|
ID da métrica |
Nome da métrica |
Descrição |
Intervalo de valor |
Objeto monitorado |
Período de monitoramento (dados brutos) |
|---|---|---|---|---|---|
|
redis_wait_synchronize_data |
Redis Data to Sync |
Dados a serem sincronizados na tarefa de migração do Redis Unidade: byte, KB, MB, GB, TB ou PB |
≥ 0 |
Tarefa de Smart Connect de uma instância do Kafka |
1 minuto |
|
redis_synchronize_rate |
Redis Data Synced per Minute |
Dados sincronizados por minuto na tarefa de migração do Redis Unidade: byte, KB, MB, GB, TB ou PB |
≥ 0 |
Tarefa de Smart Connect de uma instância do Kafka |
1 minuto |
|
kafka_wait_synchronize_data |
Kafka Data to Sync |
Dados a sincronizar na tarefa de migração do Kafka Unidade: contagem |
≥ 0 |
Tarefa de Smart Connect de uma instância do Kafka |
1 minuto |
|
kafka_synchronize_rate |
Kafka Data Synced per Minute |
Dados sincronizados por minuto na tarefa de migração do Kafka Unidade: contagem |
≥ 0 |
Tarefa de Smart Connect de uma instância do Kafka |
1 minuto |
|
task_status |
Task Status |
Status da tarefa atual |
|
Tarefa de Smart Connect de uma instância do Kafka |
1 minuto |
|
message_delay |
Message Delay |
Tempo decorrido entre quando uma mensagem é enviada da origem e recebida pelo destino Unidade: ms NOTA:
Essa métrica não se aplica a tarefas cuja origem é o Redis, porque o Redis não registra o horário de chegada da mensagem. |
≥ 0 |
Tarefa de Smart Connect de uma instância do Kafka |
1 minuto |
- Uma tarefa de Smart Connect que copia dados do Redis ou despeja dados do Redis no OBS é dividida em duas tarefas para monitoramento: Smart Connect task name_source_0 e Smart Connect task name_sink_0.
A tarefa Smart Connect task name_source_0 copia os dados do Redis de origem para o tópico de Kafka. Nesse processo, Redis Data to Sync, Redis Data Synced per Minute e Task Status são monitorados. A tarefa Smart Connect task name_sink_0 copia os dados do Redis de origem do tópico de Kafka para a instância do Redis de destino ou bucket do OBS. Nesse processo, Kafka Data to Sync, Kafka Data Synced per Minute e Task Status são monitorados.
Os dados do Redis e do Kafka não coexistirão na mesma tarefa.
- Em uma tarefa de Smart Connect que copia dados do Redis, Redis Data to Sync e Redis Data Synced per Minute não serão exibidos como 0 mesmo que o Redis de origem não tenha dados para sincronizar. É porque o Redis aumenta automaticamente os deslocamentos.
- Uma tarefa de Smart Connect que copia dados do Kafka bidirecionalmente é dividida em duas tarefas para monitoramento: Smart Connect task name_source_0 e Smart Connect task name_source_1.
- Se todas as mensagens em um tópico tiverem expirado antes da próxima sincronização, não há dados do Kafka a serem sincronizados. No entanto, como a métrica de sincronização de dados do Kafka usa o valor de deslocamento que contém dados antigos, Kafka Data Synced per Minute exibirá o número de mensagens antigas.
Dimensão
|
Chave |
Valor |
|---|---|
|
kafka_instance_id |
Instância de Kafka |
|
kafka_broker |
Broker de instância de Kafka |
|
kafka_topics |
Tópico da instância de Kafka |
|
kafka_partitions |
Partição em uma instância de Kafka |
|
kafka_groups-partitions |
Grupo de consumidores de partição em uma instância do Kafka |
|
kafka_groups_topics |
Grupo de consumidores de tópicos em uma instância do Kafka |
|
kafka_groups |
Grupo de consumidores de uma instância de Kafka |
|
connector_task |
Tarefa de Smart Connect de uma instância do Kafka |
