- Visão geral de serviço
- Primeiros passos
-
Guia de usuário
- Gerenciamento de permissões
- Preparação dos recursos necessários
- Compra de uma instância
- Acesso de uma instância do Kafka
-
Gerenciamento de instâncias
- Modificação de especificações de instância
- Exibição de uma instância
- Reinicialização de uma instância
- Exclusão de uma instância
- Modificação das informações sobre uma instância
- Configuração de acesso público
- Alteração do modo de acesso de uma instância
- Alteração do modo de cobrança de pagamento por uso para anual/mensal
- Redefinição da senha do Kafka
- Redefinição da senha do Kafka Manager
- Reinicialização do Kafka Manager
- Desativação do Kafka Manager
- Gerenciamento de tags de instância
- Exibição de tarefas em segundo plano
- Exibição de uso do disco
- Exportação da lista de instâncias
-
Gerenciamento de tópicos
- Criação de um tópico
- Exclusão de um tópico
- Modificação de tempo de envelhecimento do tópico
- Alteração de quantidade de partições
- Modificação das configurações de replicação síncrona e liberação
- Modificação de Message Timestamp, Max. Message Size e Description
- Reatribuição de partições
- Exibição de código de exemplo
- Exportação da lista de tópicos
- Configuração de permissões de tópico
- Ativação ou desativação da criação automática de tópico
- Exibição de detalhes de tópico
- Gerenciamento das mensagens
- Gerenciamento de usuários
- Gerenciamento de grupos de consumidores
- Smart Connect
- Gerenciamento de cotas do Kafka
- Modificação de parâmetros do Kafka
- Cotas
- Monitoramento
- Auditoria
-
Melhores práticas
- Melhoria da eficiência do processamento de mensagens
- Otimização da sondagem de mensagens dos consumidores de DMS for Kafka
- Interconexão do Logstash com o Kafka
- Uso do MirrorMaker para sincronizar dados entre clusters
- Evitação do acúmulo de mensagens
- Manuseio da sobrecarga de serviço
- Manuseio de dados de serviço irregulares
- Configuração de uma regra de alarme para mensagens acumuladas
-
Referência de API
- Antes de começar
- Visão geral de API
- Chamada das APIs
- Primeiros passos
-
APIs V2 (recomendado)
- Gerenciamento do ciclo da vida
-
Gerenciamento de instâncias
- Redefinição da senha
- Redefinição da senha do Kafka Manager
- Reinicialização do Kafka Manager
- Configuração da criação automática dos tópicos
- Modificação do endereço IP privado para acesso entre VPCs
- Consulta de metadados do cluster do Kafka
- Consulta de detalhes do grupo de consumidores
- Consulta de detalhes do coordenador de uma instância do Kafka
- Reatribuição de réplicas de um tópico para uma instância do Kafka
- Consulta do status de uso de disco dos tópicos
- Consulta de todos os grupos de consumidores
- Exclusão de grupos de consumidores de uma instância do Kafka em lotes
- Criação de um grupo de consumidores
- Edição de um grupo de consumidores
- Inicialização da reatribuição de partição para uma instância do Kafka
- Desativação do Kafka Manager
- Exclusão de uma cota de usuário ou cliente
- Consulta de cotas de usuários ou clientes
- Criação de cotas de usuário ou cliente
- Modificação de cotas de usuários ou clientes
- Redefinição do deslocamento do grupo de consumidores para a posição especificada
-
Smart Connect
- Ativação do Smart Connect (instância de pagamento por uso)
- Desativação do Smart Connect (instância de pagamento por uso)
- Criação de uma tarefa do Smart Connect
- Consulta de tarefas do Smart Connect
- Consulta de detalhes de tarefas do Smart Connect
- Exclusão de uma tarefa do Smart Connect
- Pausa de uma tarefa do Smart Connect
- Reinicialização de uma tarefa do Smart Connect
- Inicialização de uma tarefa do Smart Connect ou reinicialização de uma tarefa do Smart Connect pausada ou em execução
- Gerenciamento de modificação de especificação
-
Gerenciamento de tópicos
- Produção de mensagens para o Kafka
- Criação de um tópico para uma instância do Kafka
- Listagem dos tópicos de uma instância de Kafka
- Modificação dos tópicos de uma instância de Kafka
- Exclusão dos tópicos de uma instância de Kafka em lote
- Consulta da lista de partições de um tópico
- Consulta da lista atual de produtores de um tópico
- Consulta de detalhes do tópico
- Gerenciamento de usuário
- Consulta de mensagem
- Gerenciamento de tarefas em segundo plano
- Gerenciamento de tags
- Outras APIs
- Permissões e ações suportadas
-
APIs desatualizadas
-
API V1
-
APIs para gerenciamento de instâncias
- Criação de uma instância
- Consulta de uma instância
- Modificação de uma instância
- Exclusão de uma instância
- Reinicialização ou exclusão de instâncias em lote
- Consulta de todas as instâncias
- Criação de um tópico em uma instância do Kafka
- Consulta de um tópico em uma instância de Kafka
- Exclusão dos tópicos em uma instância de Kafka em lote
- Outras APIs
-
APIs para gerenciamento de instâncias
-
API V2
- Adição de partições a um tópico para uma instância do Kafka
- Redefinição do deslocamento do grupo de consumidores para a posição especificada
- Modificação das cotas de tarefas de despejo
- Criação de um pedido para desativar os conectores de despejo de uma instância
- Criação de uma tarefa de despejo
- Listagem de tarefas de despejo
- Consulta de uma tarefa de despejo
- Exclusão de uma tarefa de despejo
-
API V1
- Apêndice
- Histórico de alterações
-
Perguntas frequentes
-
Instâncias
- Por que não consigo selecionar duas AZs?
- Por que não consigo exibir as informações de sub-rede e grupo de segurança ao criar uma instância do DMS?
- Como selecionar espaço de armazenamento para uma instância do Kafka?
- Como escolher entre I/O alta e I/O ultra alta?
- Qual política de limite de capacidade devo usar?
- Quais versões do Kafka são suportadas?
- Qual é o endereço de ZooKeeper de uma instância de Kafka?
- As instâncias do Kafka estão no modo de cluster?
- Posso modificar a porta para acessar uma instância do Kafka?
- Por quanto tempo os certificados SSL do Kafka são válidos?
- Como sincronizar dados de uma instância do Kafka para outra?
- Como alterar a configuração de SASL_SSL de uma instância do Kafka?
- Como modificar o mecanismo SASL?
- Uma instância do Kafka será reiniciada depois que seu projeto empresarial for modificado?
- Os agentes de Kafka e o ZooKeeper são implementados na mesma VM ou em VMs diferentes?
- Posso excluir uma instância do Kafka cobrada no modo anual/mensal?
- Quais conjuntos de cifras são suportados pelo Kafka?
- Posso alterar uma instância de implementação de AZ única para implementação de multi-AZ?
- O DMS for Kafka suporta a recuperação de desastres entre AZs? Onde posso visualizar as AZs configuradas para uma instância existente?
- As instâncias do Kafka suportam criptografia de disco?
- Posso alterar a VPC e a sub-rede após a criação de uma instância do Kafka?
- Onde posso encontrar casos de uso do Kafka Streams?
- Posso atualizar instâncias do Kafka?
- Por que a versão no console é diferente da versão no Kafka Manager?
- Como vincular um EIP novamente?
- Modificação da especificação
-
Conexões
- Como selecionar e configurar um grupo de segurança?
- Posso acessar uma instância do Kafka em uma rede pública?
- Quantos endereços de conexão uma instância do Kafka tem por padrão?
- As instâncias do Kafka oferecem suporte ao acesso entre regiões?
- As instâncias do Kafka oferecem suporte ao acesso entre VPCs?
- As instâncias de Kafka oferecem suporte ao acesso entre sub-redes?
- O DMS for Kafka oferece suporte à autenticação com Kerberos?
- O DMS for Kafka suporta acesso sem senha?
- Como obter o endereço de acesso público depois que o acesso público é ativado?
- O DMS for Kafka oferece suporte à autenticação em clientes pelo servidor?
- Posso usar o armazenamento confiável de SSL PEM ao conectar-se a uma instância do Kafka com SASL_SSL ativado?
- Quais são as diferenças entre os certificados JKS e CRT?
- Qual versão do TLS é compatível com o DMS for Kafka?
- Há um limite no número de conexões de cliente para uma instância do Kafka?
- Quantas conexões são permitidas de cada endereço IP?
- Posso alterar os endereços de rede privada de uma instância do Kafka?
- O mesmo certificado SSL é usado para instâncias diferentes?
-
Tópicos e partições
- Existe um limite no número de tópicos em uma instância de Kafka?
- Por que a quantidade de partição é limitada?
- Posso reduzir a quantidade de partição?
- Por que não consigo criar tópicos?
- As instâncias do Kafka oferecem suporte a importação de tópicos em lote ou criação automática de tópicos?
- Por que os tópicos excluídos ainda existem?
- Posso visualizar o espaço em disco usado por um tópico?
- Posso adicionar permissões de ACL para tópicos?
- O que devo fazer se o espaço de armazenamento do Kafka for usado porque as mensagens recuperadas não são excluídas?
- Como aumentar a quantidade de partições?
- Uma instância do Kafka será reiniciada após a modificação da configuração automática de criação de tópicos?
- Posso excluir tópicos desnecessários em um grupo de consumidores?
- O que posso fazer se um consumidor não conseguir recuperar mensagens de um tópico devido a permissões insuficientes?
- Por que uma instância contém tópicos padrão __trace e __consumer_offsets?
-
Grupos de consumidores
- Preciso criar grupos de consumidores, produtores e consumidores para instâncias do Kafka?
- Um grupo de consumidores sem consumidores ativos será automaticamente excluído em 14 dias?
- Por que vejo um grupo de consumidores excluídos no Kafka Manager?
- Por que um grupo de consumidores excluído ainda existe?
-
Mensagens
- Qual é o tamanho máximo de uma mensagem que pode ser criada?
- Por que a pesquisa de mensagens geralmente falha durante o rebalanceamento?
- Por que não consigo consultar mensagens no console?
- O que fazer se as mensagens do Kafka forem acumuladas?
- Por que as mensagens ainda existem após o término do período de retenção?
- As instâncias do Kafka suportam entrega de mensagens atrasadas?
- Como ver o número de mensagens acumuladas?
- Por que o tempo de criação da mensagem é exibido como ano de 1970?
- Como modificar max.message.bytes?
-
Kafka Manager
- Posso configurar uma conta de Kafka Manager para ser somente leitura?
- Por que não consigo ver as informações do agente após fazer logon no Kafka Manager?
- Opa! Balanceamento de partição insuficiente ao criar o tópico: projectman_project_enterprise_project tente novamente.
- Posso consultar o corpo de uma mensagem usando o Kafka Manager?
- Posso alterar a porta da interface do usuário da Web do Kafka Manager?
- Quais configurações de tópico podem ser modificadas no Kafka Manager?
- Por que as informações exibidas no Kafka Manager são inconsistentes com os dados de monitoramento do Cloud Eye?
- Como alterar um líder de partição para um tópico no Kafka Manager?
- Monitoramento e alarme
-
Instâncias
- No momento, o conteúdo não está disponível no seu idioma selecionado. Consulte a versão em inglês.
- What's New
- Function Overview
- Product Bulletin
- Billing
- Developer Guide
- SDK Reference
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Flink 1.15 Consumption Progress Submission Failure
- Videos
-
More Documents
-
User Guide (ME-Abu Dhabi Region)
- Service Overview
- Getting Started
- Permissions Management
- Preparing Required Resources
- Buying an Instance
- Accessing a Kafka Instance
- Managing Instances
- Managing Topics
- Managing Messages
- Managing Users
- Managing Consumer Groups
- Managing Kafka Quotas
- Modifying Kafka Parameters
- Quotas
- Monitoring
- Auditing
-
FAQs
-
Instances
- Why Can't I Select Two AZs?
- Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
- How Do I Select Storage Space for a Kafka Instance?
- How Do I Choose Between High I/O and Ultra-high I/O?
- Which Capacity Threshold Policy Should I Use?
- Which Kafka Versions Are Supported?
- What Is the ZooKeeper Address of a Kafka Instance?
- Are Kafka Instances in Cluster Mode?
- Can I Modify the Port for Accessing a Kafka Instance?
- How Long Are Kafka SSL Certificates Valid for?
- How Do I Synchronize Data from One Kafka Instance to Another?
- How Do I Change the SASL_SSL Setting of a Kafka Instance?
- How Do I Modify the SASL Mechanism?
- Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
- Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
- Which Cipher Suites Are Supported by Kafka?
- Can I Change an Instance from Single-AZ Deployment to Multi-AZ Deployment?
- Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I View the AZs Configured for an Existing Instance?
- Do Kafka Instances Support Disk Encryption?
- Does Specification Modification Affect Services?
- Can I Change the VPC and Subnet After a Kafka Instance Is Created?
- Where Can I Find Kafka Streams Use Cases?
- Can I Upgrade Kafka Instances?
- Why Is the Version on the Console Different from That in Kafka Manager?
- How Do I Bind an EIP Again?
-
Connections
- How Do I Select and Configure a Security Group?
- Can I Access a Kafka Instance Over a Public Network?
- How Many Connection Addresses Does a Kafka Instance Have by Default?
- Do Kafka Instances Support Cross-Region Access?
- Do Kafka Instances Support Cross-VPC Access?
- Do Kafka Instances Support Cross-Subnet Access?
- Does DMS for Kafka Support Authentication with Kerberos?
- Does DMS for Kafka Support Password-Free Access?
- How Do I Obtain the Public Access Address After Public Access Is Enabled?
- Does DMS for Kafka Support Authentication on Clients by the Server?
- Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
- What Are the Differences Between JKS and CRT Certificates?
- Which TLS Version Does DMS for Kafka Support?
- Is There a Limit on the Number of Client Connections to a Kafka Instance?
- How Many Connections Are Allowed from Each IP Address?
- Can I Change the Private Network Addresses of a Kafka Instance?
- Is the Same SSL Certificate Used for Different Instances?
-
Topics and Partitions
- Is There a Limit on the Number of Topics in a Kafka Instance?
- Why Is Partition Quantity Limited?
- Can I Change the Partition Quantity?
- Why Do I Fail to Create Topics?
- Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
- Why Do Deleted Topics Still Exist?
- Can I View the Disk Space Used by a Topic?
- Can I Add ACL Permissions for Topics?
- What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
- How Do I Increase the Partition Quantity?
- Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
- How Do I Disable Automatic Topic Creation?
- Can I Delete Unnecessary Topics in a Consumer Group?
- What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
- Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
- Consumer Groups
-
Messages
- What Is the Maximum Size of a Message that Can be Created?
- Why Does Message Poll Often Fail During Rebalancing?
- Why Can't I Query Messages on the Console?
- What Can I Do If Kafka Messages Are Accumulated?
- Why Do Messages Still Exist After the Retention Period Elapses?
- Do Kafka Instances Support Delayed Message Delivery?
- How Do I View the Number of Accumulated Messages?
- Why Is the Message Creation Time Displayed as Year 1970?
-
Kafka Manager
- Can I Configure a Kafka Manager Account to Be Read-Only?
- Why Can't I See Broker Information After Logging In to Kafka Manager?
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- Can I Query the Body of a Message by Using Kafka Manager?
- Can I Change the Port of the Kafka Manager Web UI?
- Which Topic Configurations Can Be Modified on Kafka Manager?
- Why Is Information Displayed on Kafka Manager Inconsistent with Cloud Eye Monitoring Data?
- How Do I Change a Partition Leader for a Topic in Kafka Manager?
- Monitoring & Alarm
-
Instances
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Change History
- API Reference (ME-Abu Dhabi Region)
-
User Guide (Paris Region)
- Service Overview
- Getting Started
- Permissions Management
- Preparing Required Resources
- Creating an Instance
- Accessing a Kafka Instance
- Managing Instances
- Managing Topics
- Managing Messages
- Managing Users
- Managing Consumer Groups
- Managing Kafka Quotas
- Modifying Kafka Parameters
- Quotas
- Monitoring
- Auditing
-
FAQs
-
Instances
- Why Can't I Select Two AZs?
- Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
- How Do I Select Storage Space for a Kafka Instance?
- How Do I Choose Between High I/O and Ultra-high I/O?
- Which Capacity Threshold Policy Should I Use?
- Which Kafka Versions Are Supported?
- What Is the ZooKeeper Address of a Kafka Instance?
- Are Kafka Instances in Cluster Mode?
- Can I Modify the Port for Accessing a Kafka Instance?
- How Long Are Kafka SSL Certificates Valid for?
- How Do I Synchronize Data from One Kafka Instance to Another?
- How Do I Change the SASL_SSL Setting of a Kafka Instance?
- How Do I Modify the SASL Mechanism?
- Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
- Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
- Which Cipher Suites Are Supported by Kafka?
- Can I Change an Instance from Single-AZ Deployment to Multi-AZ Deployment?
- Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I View the AZs Configured for an Existing Instance?
- Do Kafka Instances Support Disk Encryption?
- Can I Change the VPC and Subnet After a Kafka Instance Is Created?
- Where Can I Find Kafka Streams Use Cases?
- Can I Upgrade Kafka Instances?
- Why Is the Version on the Console Different from That in Kafka Manager?
- How Do I Bind an EIP Again?
- Specification Modification
-
Connections
- How Do I Select and Configure a Security Group?
- Can I Access a Kafka Instance Over a Public Network?
- How Many Connection Addresses Does a Kafka Instance Have by Default?
- Do Kafka Instances Support Cross-Region Access?
- Do Kafka Instances Support Cross-VPC Access?
- Do Kafka Instances Support Cross-Subnet Access?
- Does DMS for Kafka Support Authentication with Kerberos?
- Does DMS for Kafka Support Password-Free Access?
- How Do I Obtain the Public Access Address After Public Access Is Enabled?
- Does DMS for Kafka Support Authentication on Clients by the Server?
- Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
- What Are the Differences Between JKS and CRT Certificates?
- Which TLS Version Does DMS for Kafka Support?
- Is There a Limit on the Number of Client Connections to a Kafka Instance?
- How Many Connections Are Allowed from Each IP Address?
- Can I Change the Private Network Addresses of a Kafka Instance?
- Is the Same SSL Certificate Used for Different Instances?
- Why Is It Not Recommended to Use a Sarama Client for Messaging?
-
Topics and Partitions
- Is There a Limit on the Number of Topics in a Kafka Instance?
- Why Is Partition Quantity Limited?
- Can I Reduce the Partition Quantity?
- Why Do I Fail to Create Topics?
- Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
- Why Do Deleted Topics Still Exist?
- Can I View the Disk Space Used by a Topic?
- Can I Add ACL Permissions for Topics?
- What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
- How Do I Increase the Partition Quantity?
- Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
- How Do I Disable Automatic Topic Creation?
- Can I Delete Unnecessary Topics in a Consumer Group?
- What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
- Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
- Consumer Groups
-
Messages
- What Is the Maximum Size of a Message that Can be Created?
- Why Does Message Poll Often Fail During Rebalancing?
- Why Can't I Query Messages on the Console?
- What Can I Do If Kafka Messages Are Accumulated?
- Why Do Messages Still Exist After the Retention Period Elapses?
- Do Kafka Instances Support Delayed Message Delivery?
- How Do I View the Number of Accumulated Messages?
- Why Is the Message Creation Time Displayed as Year 1970?
-
Kafka Manager
- Can I Configure a Kafka Manager Account to Be Read-Only?
- Why Can't I See Broker Information After Logging In to Kafka Manager?
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- Can I Query the Body of a Message by Using Kafka Manager?
- Can I Change the Port of the Kafka Manager Web UI?
- Which Topic Configurations Can Be Modified on Kafka Manager?
- How Do I Change a Partition Leader for a Topic in Kafka Manager?
- Monitoring & Alarm
-
Instances
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Change History
-
API Reference (Paris Region)
- Before You Start
- API Overview
- Calling APIs
- Getting Started
-
APIs V2 (Recommended)
- Lifecycle Management
-
Instance Management
- Resetting the Password
- Resetting Kafka Manager Password
- Configuring Automatic Topic Creation
- Modifying the Private IP Address for Cross-VPC Access
- Querying Kafka Cluster Metadata
- Querying Consumer Group Details
- Resetting Consumer Group Offset to the Specified Position
- Querying Coordinator Details of a Kafka Instance
- Adding Partitions to a Topic for a Kafka Instance
- Reassigning Replicas of a Topic for a Kafka Instance
- Querying the Disk Usage Status of Topics
- Querying All Consumer Groups
- Querying a Specific Consumer Group
- Deleting a Consumer Group from a Kafka Instance
- Batch Deleting Consumer Groups of a Kafka Instance
- Initiating Partition Reassigning for a Kafka Instance
- Specification Modification Management
- Topic Management
- User Management
- Message Query
- Background Task Management
- Tag Management
- Other APIs
- Permissions and Supported Actions
- Out-of-Date APIs
- Appendix
- Change History
- Developer Guide (Paris Region)
-
User Guide (Kuala Lumpur Region)
- Service Overview
- Getting Started
- Process of Using Kafka
- Permissions Management
- Buying a Kafka Instance
- Configuring Topics
- Connecting to an Instance
- Managing Messages
- Managing Consumer Groups
- Managing Quotas
-
Managing Instances
- Viewing and Modifying Basic Information of a Kafka Instance
- Viewing Kafka Disk Usage
- Viewing Kafka Background Tasks
- Viewing Sample Code of Kafka Production and Consumption
- Modifying Kafka Instance Configuration Parameters
- Configuring Kafka Instance Tags
- Exporting the Kafka Instance List
- Restarting a Kafka Instance
- Deleting Kafka Instances
- Using Kafka Manager
- Modifying Kafka Instance Specifications
- Migrating Data
- Applying for Increasing Kafka Quotas
- Monitoring and Alarms
- Viewing Kafka Audit Logs
-
FAQs
-
Instances
- Why Can't I Select Two AZs?
- Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
- How Do I Select Storage Space for a Kafka Instance?
- How Do I Choose Between High I/O and Ultra-high I/O?
- Which Capacity Threshold Policy Should I Use?
- Which Kafka Versions Are Supported?
- What Is the ZooKeeper Address of a Kafka Instance?
- Are Kafka Instances in Cluster Mode?
- Can I Modify the Port for Accessing a Kafka Instance?
- How Long Are Kafka SSL Certificates Valid for?
- How Do I Synchronize Data from One Kafka Instance to Another?
- How Do I Change the SASL_SSL Setting of a Kafka Instance?
- How Do I Modify the SASL Mechanism?
- Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
- Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
- Which Cipher Suites Are Supported by Kafka?
- Can I Change an Instance from Single-AZ Deployment to Multi-AZ Deployment?
- Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I View the AZs Configured for an Existing Instance?
- Do Kafka Instances Support Disk Encryption?
- Can I Change the VPC and Subnet After a Kafka Instance Is Created?
- Where Can I Find Kafka Streams Use Cases?
- Can I Upgrade Kafka Instances?
- Why Is the Version on the Console Different from That in Kafka Manager?
- Specification Modification
-
Connections
- How Do I Select and Configure a Security Group?
- Can I Access a Kafka Instance Over a Public Network?
- How Many Connection Addresses Does a Kafka Instance Have by Default?
- Do Kafka Instances Support Cross-Region Access?
- Do Kafka Instances Support Cross-VPC Access?
- Do Kafka Instances Support Cross-Subnet Access?
- Does DMS for Kafka Support Authentication with Kerberos?
- Does DMS for Kafka Support Password-Free Access?
- Does DMS for Kafka Support Authentication on Clients by the Server?
- Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
- What Are the Differences Between JKS and CRT Certificates?
- Which TLS Version Does DMS for Kafka Support?
- Is There a Limit on the Number of Client Connections to a Kafka Instance?
- How Many Connections Are Allowed from Each IP Address?
- Can I Change the Private Network Addresses of a Kafka Instance?
- Is the Same SSL Certificate Used for Different Instances?
- Why Is It Not Recommended to Use a Sarama Client for Messaging?
-
Topics and Partitions
- Is There a Limit on the Number of Topics in a Kafka Instance?
- Why Is Partition Quantity Limited?
- Can I Reduce the Partition Quantity?
- Why Do I Fail to Create Topics?
- Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
- Why Do Deleted Topics Still Exist?
- Can I View the Disk Space Used by a Topic?
- Can I Add ACL Permissions for Topics?
- What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
- How Do I Increase the Partition Quantity?
- Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
- Can I Delete Unnecessary Topics in a Consumer Group?
- What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
- Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
- Consumer Groups
-
Messages
- What Is the Maximum Size of a Message that Can be Created?
- Why Does Message Poll Often Fail During Rebalancing?
- Why Can't I Query Messages on the Console?
- What Can I Do If Kafka Messages Are Accumulated?
- Why Do Messages Still Exist After the Retention Period Elapses?
- Do Kafka Instances Support Delayed Message Delivery?
- How Do I View the Number of Accumulated Messages?
- Why Is the Message Creation Time Displayed as Year 1970?
-
Kafka Manager
- Can I Configure a Kafka Manager Account to Be Read-Only?
- Why Can't I See Broker Information After Logging In to Kafka Manager?
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- Can I Query the Body of a Message by Using Kafka Manager?
- Can I Change the Port of the Kafka Manager Web UI?
- Which Topic Configurations Can Be Modified on Kafka Manager?
- Why Is Information Displayed on Kafka Manager Inconsistent with Cloud Eye Monitoring Data?
- How Do I Change a Partition Leader for a Topic in Kafka Manager?
- Monitoring & Alarm
-
Instances
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Change History
- API Reference (Kuala Lumpur Region)
-
User Guide (ME-Abu Dhabi Region)
Copiado.
Kafka Manager
O Kafka Manager é uma ferramenta de código aberto para gerenciar o Kafka. Ele pode ser usado apenas através de um navegador da Web. No Kafka Manager, você pode exibir as estatísticas de monitoramento e as informações de agente dos clusters do Kafka.
As instâncias criadas desde 17 de maio de 2023 não têm o Kafka Manager. As funções do Kafka Manager são fornecidas no console do Kafka.
Kafka Manager |
Console do Kafka |
---|---|
Exibir tópicos sobre uma instância |
Veja a lista de tópicos na página Topics. |
Exibir informações básicas sobre um tópico |
Veja as informações básicas (incluindo o número de réplicas, o número de partições e o tempo de envelhecimento) sobre cada tópico na página Topics. |
Reatribuir partições de tópico |
Reatribua partições automaticamente ou manualmente na página Topics. |
Atualizar configurações de tópicos |
Modifique os parâmetros de configuração do tópico na página Topics. |
Exibir a lista de grupos de consumidores |
Exiba a lista de grupos de consumidores na página Consumer Groups. |
Exibir detalhes sobre um consumidor específico |
Na página Consumer Groups, clique no nome de um grupo de consumidores para ir até a página de detalhes do grupo de consumidores e exibir os consumidores e seu progresso. |
Exibir detalhes de tópicos em um grupo de consumidores |
Na página Consumer Groups, clique em um nome de grupo de consumidores para ir para a página de detalhes do grupo de consumidores. Na página de guia Consumer Offset, exiba a lista de tópicos do grupo de consumidores, o número de mensagens acumuladas em cada tópico e o status de consumo de cada partição. |
Monitorar o cluster ou tópicos |
Exiba informações de monitoramento na página Monitoring. |
Pré-requisitos
As regras do grupo de segurança foram configuradas referindo-se a Tabela 2.
Fazer logon no Kafka Manager
- Crie um ECS do Windows com as mesmas configurações de VPC e grupo de segurança que a instância do Kafka. Para obter detalhes, consulte Compra de um ECS.
Se o acesso público tiver sido ativado, esta etapa será opcional. Você pode acessar a instância usando o navegador local. Não é necessário criar um ECS do Windows.
- Obtenha o endereço do Kafka Manager na página de detalhes da instância.
- Se o acesso à rede pública estiver desativado, o endereço do Kafka Manager é Manager Address (Private Network).
Figura 1 Endereço do Kafka Manager (rede privada)
- Se o acesso à rede pública estiver ativado, o endereço do Kafka Manager é Manager Address (Public Network).
Figura 2 Endereço do Kafka Manager (rede pública)
- Se o acesso à rede pública estiver desativado, o endereço do Kafka Manager é Manager Address (Private Network).
- Digite o endereço do Kafka Manager no navegador da Web no ECS de Windows.
Se o acesso público estiver ativado, insira o endereço do Kafka Manager na barra de endereços do navegador no PC local. Se o acesso público não estiver ativado, efetue logon no ECS preparado no 1 e digite o endereço do Kafka Manager na barra de endereços do navegador.
- Digite o nome de usuário e a senha para efetuar logon no Kafka Manager, que você definiu ao criar a instância.
Exibir Informações no Kafka Manager
No Kafka Manager, você pode exibir as estatísticas de monitoramento e as informações de agente dos clusters do Kafka.
- Informações sobre clusters
Clique em Clusters para exibir as informações sobre clusters. Figura 3 mostra um exemplo das informações do cluster.
- A barra de navegação superior fornece as seguintes funções, como mostrado na caixa vermelha 1 na figura.
- Cluster: exibir a lista de clusters e informações de clusters.
- Brokers: visualizar informações sobre brokers de um cluster.
- Topic: exibir informações sobre tópicos em um cluster.
- Preferred Replica Election: eleger o líder (réplica preferida) de um tópico. Esta operação não é recomendada.
- Reassign Partitions: reatribuir partições. Esta operação não é recomendada.
- Consumers: visualizar o status de grupos de consumidores em um cluster.
- A caixa vermelha 2 mostra um exemplo do resumo de informações do cluster, incluindo o número de tópicos e brokers no cluster.
- A barra de navegação superior fornece as seguintes funções, como mostrado na caixa vermelha 1 na figura.
- Informações combinadas sobre todos os brokers de um cluster
Esta página mostra estatísticas de brokers de um cluster. Figura 4 mostra um exemplo da configuração de armazenamento.
- A caixa vermelha 1 mostra a lista de brokers, incluindo o número de bytes de entrada e saída de diferentes brokers.
- A caixa vermelha 2 mostra as métricas de monitoramento do cluster.
- Informações sobre um broker específico
Clique no ID de um broker para visualizar suas estatísticas. Figura 5 mostra um exemplo da configuração de armazenamento.
- A caixa vermelha 1 mostra as estatísticas do broker, incluindo o número de tópicos, partições e líderes e porcentagens de mensagens, tráfego de entrada e tráfego de saída.
- A caixa vermelha 2 mostra as métricas de monitoramento do broker.
- Tópicos de uma instância
Na barra de navegação, escolha Topic > List. A página exibida mostra a lista de tópicos e informações sobre os tópicos, conforme mostrado na Figura 6.
Os tópicos que começam com "__" são tópicos internos. Para evitar falhas de serviço, não execute nenhuma operação nesses tópicos.
- Detalhes de um tópico
Clique no nome de um tópico para exibir seus detalhes na página exibida, conforme mostrado na Figura 7.
- Caixa vermelha 1: informações básicas sobre o tópico, incluindo Replication, Number of Partitions, e Sum of Partition Offsets.
- Caixa vermelha 2: informações sobre partições de diferentes brokers.
- Caixa vermelha 3: grupos de consumidores do tema. Clique no nome de um nome de grupo de consumidores para exibir seus detalhes.
- Caixa vermelha 4: configurações do tópico. Para obter detalhes, consulte https://kafka.apache.org/documentation/#topicconfigs.
- Caixa vermelha 5: métricas de monitoramento do tópico.
- Caixa vermelha 6: informações sobre partições no tópico, incluindo Latest Offset, Leader de uma partição, Replicas, e In Sync Replicas.
- Lista de consumidores
Clique em Consumers para exibir a lista de consumidores em um cluster.
Somente os grupos de consumidores que recuperaram mensagens nos últimos 14 dias são exibidos.
Figura 8 Visualizar a lista de consumidores - Detalhes de um consumidor específico
Clique no nome de um consumidor para exibir seus detalhes, incluindo a lista de tópicos no consumidor e o número de mensagens que podem ser recuperadas em cada tópico (Total Lag).
Figura 9 Visualizar detalhes do consumidor - Detalhes de tópicos em um consumidor
Clique no nome de um tópico para exibir detalhes de recuperação de diferentes partições no tópico, incluindo Partition, o número de mensagens em uma partição (LogSize), o andamento da recuperação (Consumer Offset), o número de mensagens restantes na partição que podem ser recuperadas (Lag) e o último consumidor recuperado da partição (Consumer Instance Owner).
Figura 10 Visualizar detalhes de um tópico