Este conteúdo foi traduzido por máquina para sua conveniência e a Huawei Cloud não pode garantir que o conteúdo foi traduzido com precisão. Para exibir o conteúdo original, use o link no canto superior direito para mudar para a página em inglês.
Distributed Message Service for Kafka
Distributed Message Service for Kafka
- Visão geral de serviço
- Primeiros passos
-
Guia de usuário
- Gerenciamento de permissões
- Preparação dos recursos necessários
- Compra de uma instância
- Acesso de uma instância do Kafka
-
Gerenciamento de instâncias
- Modificação de especificações de instância
- Exibição de uma instância
- Reinicialização de uma instância
- Exclusão de uma instância
- Modificação das informações sobre uma instância
- Configuração de acesso público
- Alteração do modo de acesso de uma instância
- Alteração do modo de cobrança de pagamento por uso para anual/mensal
- Redefinição da senha do Kafka
- Redefinição da senha do Kafka Manager
- Reinicialização do Kafka Manager
- Desativação do Kafka Manager
- Gerenciamento de tags de instância
- Exibição de tarefas em segundo plano
- Exibição de uso do disco
- Exportação da lista de instâncias
-
Gerenciamento de tópicos
- Criação de um tópico
- Exclusão de um tópico
- Modificação de tempo de envelhecimento do tópico
- Alteração de quantidade de partições
- Modificação das configurações de replicação síncrona e liberação
- Modificação de Message Timestamp, Max. Message Size e Description
- Reatribuição de partições
- Exibição de código de exemplo
- Exportação da lista de tópicos
- Configuração de permissões de tópico
- Ativação ou desativação da criação automática de tópico
- Exibição de detalhes de tópico
- Gerenciamento das mensagens
- Gerenciamento de usuários
- Gerenciamento de grupos de consumidores
- Smart Connect
- Gerenciamento de cotas do Kafka
- Modificação de parâmetros do Kafka
- Cotas
- Monitoramento
- Auditoria
-
Melhores práticas
- Melhoria da eficiência do processamento de mensagens
- Otimização da sondagem de mensagens dos consumidores de DMS for Kafka
- Interconexão do Logstash com o Kafka
- Uso do MirrorMaker para sincronizar dados entre clusters
- Evitação do acúmulo de mensagens
- Manuseio da sobrecarga de serviço
- Manuseio de dados de serviço irregulares
- Configuração de uma regra de alarme para mensagens acumuladas
-
Referência de API
- Antes de começar
- Visão geral de API
- Chamada das APIs
- Primeiros passos
-
APIs V2 (recomendado)
- Gerenciamento do ciclo da vida
-
Gerenciamento de instâncias
- Redefinição da senha
- Redefinição da senha do Kafka Manager
- Reinicialização do Kafka Manager
- Configuração da criação automática dos tópicos
- Modificação do endereço IP privado para acesso entre VPCs
- Consulta de metadados do cluster do Kafka
- Consulta de detalhes do grupo de consumidores
- Consulta de detalhes do coordenador de uma instância do Kafka
- Reatribuição de réplicas de um tópico para uma instância do Kafka
- Consulta do status de uso de disco dos tópicos
- Consulta de todos os grupos de consumidores
- Exclusão de grupos de consumidores de uma instância do Kafka em lotes
- Criação de um grupo de consumidores
- Edição de um grupo de consumidores
- Inicialização da reatribuição de partição para uma instância do Kafka
- Desativação do Kafka Manager
- Exclusão de uma cota de usuário ou cliente
- Consulta de cotas de usuários ou clientes
- Criação de cotas de usuário ou cliente
- Modificação de cotas de usuários ou clientes
- Redefinição do deslocamento do grupo de consumidores para a posição especificada
-
Smart Connect
- Ativação do Smart Connect (instância de pagamento por uso)
- Desativação do Smart Connect (instância de pagamento por uso)
- Criação de uma tarefa do Smart Connect
- Consulta de tarefas do Smart Connect
- Consulta de detalhes de tarefas do Smart Connect
- Exclusão de uma tarefa do Smart Connect
- Pausa de uma tarefa do Smart Connect
- Reinicialização de uma tarefa do Smart Connect
- Inicialização de uma tarefa do Smart Connect ou reinicialização de uma tarefa do Smart Connect pausada ou em execução
- Gerenciamento de modificação de especificação
-
Gerenciamento de tópicos
- Produção de mensagens para o Kafka
- Criação de um tópico para uma instância do Kafka
- Listagem dos tópicos de uma instância de Kafka
- Modificação dos tópicos de uma instância de Kafka
- Exclusão dos tópicos de uma instância de Kafka em lote
- Consulta da lista de partições de um tópico
- Consulta da lista atual de produtores de um tópico
- Consulta de detalhes do tópico
- Gerenciamento de usuário
- Consulta de mensagem
- Gerenciamento de tarefas em segundo plano
- Gerenciamento de tags
- Outras APIs
- Permissões e ações suportadas
-
APIs desatualizadas
-
API V1
-
APIs para gerenciamento de instâncias
- Criação de uma instância
- Consulta de uma instância
- Modificação de uma instância
- Exclusão de uma instância
- Reinicialização ou exclusão de instâncias em lote
- Consulta de todas as instâncias
- Criação de um tópico em uma instância do Kafka
- Consulta de um tópico em uma instância de Kafka
- Exclusão dos tópicos em uma instância de Kafka em lote
- Outras APIs
-
APIs para gerenciamento de instâncias
-
API V2
- Adição de partições a um tópico para uma instância do Kafka
- Redefinição do deslocamento do grupo de consumidores para a posição especificada
- Modificação das cotas de tarefas de despejo
- Criação de um pedido para desativar os conectores de despejo de uma instância
- Criação de uma tarefa de despejo
- Listagem de tarefas de despejo
- Consulta de uma tarefa de despejo
- Exclusão de uma tarefa de despejo
-
API V1
- Apêndice
- Histórico de alterações
-
Perguntas frequentes
-
Instâncias
- Por que não consigo selecionar duas AZs?
- Por que não consigo exibir as informações de sub-rede e grupo de segurança ao criar uma instância do DMS?
- Como selecionar espaço de armazenamento para uma instância do Kafka?
- Como escolher entre I/O alta e I/O ultra alta?
- Qual política de limite de capacidade devo usar?
- Quais versões do Kafka são suportadas?
- Qual é o endereço de ZooKeeper de uma instância de Kafka?
- As instâncias do Kafka estão no modo de cluster?
- Posso modificar a porta para acessar uma instância do Kafka?
- Por quanto tempo os certificados SSL do Kafka são válidos?
- Como sincronizar dados de uma instância do Kafka para outra?
- Como alterar a configuração de SASL_SSL de uma instância do Kafka?
- Como modificar o mecanismo SASL?
- Uma instância do Kafka será reiniciada depois que seu projeto empresarial for modificado?
- Os agentes de Kafka e o ZooKeeper são implementados na mesma VM ou em VMs diferentes?
- Posso excluir uma instância do Kafka cobrada no modo anual/mensal?
- Quais conjuntos de cifras são suportados pelo Kafka?
- Posso alterar uma instância de implementação de AZ única para implementação de multi-AZ?
- O DMS for Kafka suporta a recuperação de desastres entre AZs? Onde posso visualizar as AZs configuradas para uma instância existente?
- As instâncias do Kafka suportam criptografia de disco?
- Posso alterar a VPC e a sub-rede após a criação de uma instância do Kafka?
- Onde posso encontrar casos de uso do Kafka Streams?
- Posso atualizar instâncias do Kafka?
- Por que a versão no console é diferente da versão no Kafka Manager?
- Como vincular um EIP novamente?
- Modificação da especificação
-
Conexões
- Como selecionar e configurar um grupo de segurança?
- Posso acessar uma instância do Kafka em uma rede pública?
- Quantos endereços de conexão uma instância do Kafka tem por padrão?
- As instâncias do Kafka oferecem suporte ao acesso entre regiões?
- As instâncias do Kafka oferecem suporte ao acesso entre VPCs?
- As instâncias de Kafka oferecem suporte ao acesso entre sub-redes?
- O DMS for Kafka oferece suporte à autenticação com Kerberos?
- O DMS for Kafka suporta acesso sem senha?
- Como obter o endereço de acesso público depois que o acesso público é ativado?
- O DMS for Kafka oferece suporte à autenticação em clientes pelo servidor?
- Posso usar o armazenamento confiável de SSL PEM ao conectar-se a uma instância do Kafka com SASL_SSL ativado?
- Quais são as diferenças entre os certificados JKS e CRT?
- Qual versão do TLS é compatível com o DMS for Kafka?
- Há um limite no número de conexões de cliente para uma instância do Kafka?
- Quantas conexões são permitidas de cada endereço IP?
- Posso alterar os endereços de rede privada de uma instância do Kafka?
- O mesmo certificado SSL é usado para instâncias diferentes?
-
Tópicos e partições
- Existe um limite no número de tópicos em uma instância de Kafka?
- Por que a quantidade de partição é limitada?
- Posso reduzir a quantidade de partição?
- Por que não consigo criar tópicos?
- As instâncias do Kafka oferecem suporte a importação de tópicos em lote ou criação automática de tópicos?
- Por que os tópicos excluídos ainda existem?
- Posso visualizar o espaço em disco usado por um tópico?
- Posso adicionar permissões de ACL para tópicos?
- O que devo fazer se o espaço de armazenamento do Kafka for usado porque as mensagens recuperadas não são excluídas?
- Como aumentar a quantidade de partições?
- Uma instância do Kafka será reiniciada após a modificação da configuração automática de criação de tópicos?
- Posso excluir tópicos desnecessários em um grupo de consumidores?
- O que posso fazer se um consumidor não conseguir recuperar mensagens de um tópico devido a permissões insuficientes?
- Por que uma instância contém tópicos padrão __trace e __consumer_offsets?
-
Grupos de consumidores
- Preciso criar grupos de consumidores, produtores e consumidores para instâncias do Kafka?
- Um grupo de consumidores sem consumidores ativos será automaticamente excluído em 14 dias?
- Por que vejo um grupo de consumidores excluídos no Kafka Manager?
- Por que um grupo de consumidores excluído ainda existe?
-
Mensagens
- Qual é o tamanho máximo de uma mensagem que pode ser criada?
- Por que a pesquisa de mensagens geralmente falha durante o rebalanceamento?
- Por que não consigo consultar mensagens no console?
- O que fazer se as mensagens do Kafka forem acumuladas?
- Por que as mensagens ainda existem após o término do período de retenção?
- As instâncias do Kafka suportam entrega de mensagens atrasadas?
- Como ver o número de mensagens acumuladas?
- Por que o tempo de criação da mensagem é exibido como ano de 1970?
- Como modificar max.message.bytes?
-
Kafka Manager
- Posso configurar uma conta de Kafka Manager para ser somente leitura?
- Por que não consigo ver as informações do agente após fazer logon no Kafka Manager?
- Opa! Balanceamento de partição insuficiente ao criar o tópico: projectman_project_enterprise_project tente novamente.
- Posso consultar o corpo de uma mensagem usando o Kafka Manager?
- Posso alterar a porta da interface do usuário da Web do Kafka Manager?
- Quais configurações de tópico podem ser modificadas no Kafka Manager?
- Por que as informações exibidas no Kafka Manager são inconsistentes com os dados de monitoramento do Cloud Eye?
- Como alterar um líder de partição para um tópico no Kafka Manager?
- Monitoramento e alarme
-
Instâncias
- No momento, o conteúdo não está disponível no seu idioma selecionado. Consulte a versão em inglês.
- What's New
- Function Overview
- Product Bulletin
- Billing
- Developer Guide
- SDK Reference
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Flink 1.15 Consumption Progress Submission Failure
- Videos
-
More Documents
-
User Guide (ME-Abu Dhabi Region)
- Service Overview
- Getting Started
- Permissions Management
- Preparing Required Resources
- Buying an Instance
- Accessing a Kafka Instance
- Managing Instances
- Managing Topics
- Managing Messages
- Managing Users
- Managing Consumer Groups
- Managing Kafka Quotas
- Modifying Kafka Parameters
- Quotas
- Monitoring
- Auditing
-
FAQs
-
Instances
- Why Can't I Select Two AZs?
- Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
- How Do I Select Storage Space for a Kafka Instance?
- How Do I Choose Between High I/O and Ultra-high I/O?
- Which Capacity Threshold Policy Should I Use?
- Which Kafka Versions Are Supported?
- What Is the ZooKeeper Address of a Kafka Instance?
- Are Kafka Instances in Cluster Mode?
- Can I Modify the Port for Accessing a Kafka Instance?
- How Long Are Kafka SSL Certificates Valid for?
- How Do I Synchronize Data from One Kafka Instance to Another?
- How Do I Change the SASL_SSL Setting of a Kafka Instance?
- How Do I Modify the SASL Mechanism?
- Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
- Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
- Which Cipher Suites Are Supported by Kafka?
- Can I Change an Instance from Single-AZ Deployment to Multi-AZ Deployment?
- Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I View the AZs Configured for an Existing Instance?
- Do Kafka Instances Support Disk Encryption?
- Does Specification Modification Affect Services?
- Can I Change the VPC and Subnet After a Kafka Instance Is Created?
- Where Can I Find Kafka Streams Use Cases?
- Can I Upgrade Kafka Instances?
- Why Is the Version on the Console Different from That in Kafka Manager?
- How Do I Bind an EIP Again?
-
Connections
- How Do I Select and Configure a Security Group?
- Can I Access a Kafka Instance Over a Public Network?
- How Many Connection Addresses Does a Kafka Instance Have by Default?
- Do Kafka Instances Support Cross-Region Access?
- Do Kafka Instances Support Cross-VPC Access?
- Do Kafka Instances Support Cross-Subnet Access?
- Does DMS for Kafka Support Authentication with Kerberos?
- Does DMS for Kafka Support Password-Free Access?
- How Do I Obtain the Public Access Address After Public Access Is Enabled?
- Does DMS for Kafka Support Authentication on Clients by the Server?
- Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
- What Are the Differences Between JKS and CRT Certificates?
- Which TLS Version Does DMS for Kafka Support?
- Is There a Limit on the Number of Client Connections to a Kafka Instance?
- How Many Connections Are Allowed from Each IP Address?
- Can I Change the Private Network Addresses of a Kafka Instance?
- Is the Same SSL Certificate Used for Different Instances?
-
Topics and Partitions
- Is There a Limit on the Number of Topics in a Kafka Instance?
- Why Is Partition Quantity Limited?
- Can I Change the Partition Quantity?
- Why Do I Fail to Create Topics?
- Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
- Why Do Deleted Topics Still Exist?
- Can I View the Disk Space Used by a Topic?
- Can I Add ACL Permissions for Topics?
- What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
- How Do I Increase the Partition Quantity?
- Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
- How Do I Disable Automatic Topic Creation?
- Can I Delete Unnecessary Topics in a Consumer Group?
- What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
- Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
- Consumer Groups
-
Messages
- What Is the Maximum Size of a Message that Can be Created?
- Why Does Message Poll Often Fail During Rebalancing?
- Why Can't I Query Messages on the Console?
- What Can I Do If Kafka Messages Are Accumulated?
- Why Do Messages Still Exist After the Retention Period Elapses?
- Do Kafka Instances Support Delayed Message Delivery?
- How Do I View the Number of Accumulated Messages?
- Why Is the Message Creation Time Displayed as Year 1970?
-
Kafka Manager
- Can I Configure a Kafka Manager Account to Be Read-Only?
- Why Can't I See Broker Information After Logging In to Kafka Manager?
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- Can I Query the Body of a Message by Using Kafka Manager?
- Can I Change the Port of the Kafka Manager Web UI?
- Which Topic Configurations Can Be Modified on Kafka Manager?
- Why Is Information Displayed on Kafka Manager Inconsistent with Cloud Eye Monitoring Data?
- How Do I Change a Partition Leader for a Topic in Kafka Manager?
- Monitoring & Alarm
-
Instances
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Change History
- API Reference (ME-Abu Dhabi Region)
-
User Guide (Paris Region)
- Service Overview
- Getting Started
- Permissions Management
- Preparing Required Resources
- Creating an Instance
- Accessing a Kafka Instance
- Managing Instances
- Managing Topics
- Managing Messages
- Managing Users
- Managing Consumer Groups
- Managing Kafka Quotas
- Modifying Kafka Parameters
- Quotas
- Monitoring
- Auditing
-
FAQs
-
Instances
- Why Can't I Select Two AZs?
- Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
- How Do I Select Storage Space for a Kafka Instance?
- How Do I Choose Between High I/O and Ultra-high I/O?
- Which Capacity Threshold Policy Should I Use?
- Which Kafka Versions Are Supported?
- What Is the ZooKeeper Address of a Kafka Instance?
- Are Kafka Instances in Cluster Mode?
- Can I Modify the Port for Accessing a Kafka Instance?
- How Long Are Kafka SSL Certificates Valid for?
- How Do I Synchronize Data from One Kafka Instance to Another?
- How Do I Change the SASL_SSL Setting of a Kafka Instance?
- How Do I Modify the SASL Mechanism?
- Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
- Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
- Which Cipher Suites Are Supported by Kafka?
- Can I Change an Instance from Single-AZ Deployment to Multi-AZ Deployment?
- Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I View the AZs Configured for an Existing Instance?
- Do Kafka Instances Support Disk Encryption?
- Can I Change the VPC and Subnet After a Kafka Instance Is Created?
- Where Can I Find Kafka Streams Use Cases?
- Can I Upgrade Kafka Instances?
- Why Is the Version on the Console Different from That in Kafka Manager?
- How Do I Bind an EIP Again?
- Specification Modification
-
Connections
- How Do I Select and Configure a Security Group?
- Can I Access a Kafka Instance Over a Public Network?
- How Many Connection Addresses Does a Kafka Instance Have by Default?
- Do Kafka Instances Support Cross-Region Access?
- Do Kafka Instances Support Cross-VPC Access?
- Do Kafka Instances Support Cross-Subnet Access?
- Does DMS for Kafka Support Authentication with Kerberos?
- Does DMS for Kafka Support Password-Free Access?
- How Do I Obtain the Public Access Address After Public Access Is Enabled?
- Does DMS for Kafka Support Authentication on Clients by the Server?
- Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
- What Are the Differences Between JKS and CRT Certificates?
- Which TLS Version Does DMS for Kafka Support?
- Is There a Limit on the Number of Client Connections to a Kafka Instance?
- How Many Connections Are Allowed from Each IP Address?
- Can I Change the Private Network Addresses of a Kafka Instance?
- Is the Same SSL Certificate Used for Different Instances?
- Why Is It Not Recommended to Use a Sarama Client for Messaging?
-
Topics and Partitions
- Is There a Limit on the Number of Topics in a Kafka Instance?
- Why Is Partition Quantity Limited?
- Can I Reduce the Partition Quantity?
- Why Do I Fail to Create Topics?
- Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
- Why Do Deleted Topics Still Exist?
- Can I View the Disk Space Used by a Topic?
- Can I Add ACL Permissions for Topics?
- What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
- How Do I Increase the Partition Quantity?
- Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
- How Do I Disable Automatic Topic Creation?
- Can I Delete Unnecessary Topics in a Consumer Group?
- What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
- Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
- Consumer Groups
-
Messages
- What Is the Maximum Size of a Message that Can be Created?
- Why Does Message Poll Often Fail During Rebalancing?
- Why Can't I Query Messages on the Console?
- What Can I Do If Kafka Messages Are Accumulated?
- Why Do Messages Still Exist After the Retention Period Elapses?
- Do Kafka Instances Support Delayed Message Delivery?
- How Do I View the Number of Accumulated Messages?
- Why Is the Message Creation Time Displayed as Year 1970?
-
Kafka Manager
- Can I Configure a Kafka Manager Account to Be Read-Only?
- Why Can't I See Broker Information After Logging In to Kafka Manager?
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- Can I Query the Body of a Message by Using Kafka Manager?
- Can I Change the Port of the Kafka Manager Web UI?
- Which Topic Configurations Can Be Modified on Kafka Manager?
- How Do I Change a Partition Leader for a Topic in Kafka Manager?
- Monitoring & Alarm
-
Instances
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Change History
-
API Reference (Paris Region)
- Before You Start
- API Overview
- Calling APIs
- Getting Started
-
APIs V2 (Recommended)
- Lifecycle Management
-
Instance Management
- Resetting the Password
- Resetting Kafka Manager Password
- Configuring Automatic Topic Creation
- Modifying the Private IP Address for Cross-VPC Access
- Querying Kafka Cluster Metadata
- Querying Consumer Group Details
- Resetting Consumer Group Offset to the Specified Position
- Querying Coordinator Details of a Kafka Instance
- Adding Partitions to a Topic for a Kafka Instance
- Reassigning Replicas of a Topic for a Kafka Instance
- Querying the Disk Usage Status of Topics
- Querying All Consumer Groups
- Querying a Specific Consumer Group
- Deleting a Consumer Group from a Kafka Instance
- Batch Deleting Consumer Groups of a Kafka Instance
- Initiating Partition Reassigning for a Kafka Instance
- Specification Modification Management
- Topic Management
- User Management
- Message Query
- Background Task Management
- Tag Management
- Other APIs
- Permissions and Supported Actions
- Out-of-Date APIs
- Appendix
- Change History
- Developer Guide (Paris Region)
-
User Guide (Kuala Lumpur Region)
- Service Overview
- Getting Started
- Process of Using Kafka
- Permissions Management
- Buying a Kafka Instance
- Configuring Topics
- Connecting to an Instance
- Managing Messages
- Managing Consumer Groups
- Managing Quotas
-
Managing Instances
- Viewing and Modifying Basic Information of a Kafka Instance
- Viewing Kafka Disk Usage
- Viewing Kafka Background Tasks
- Viewing Sample Code of Kafka Production and Consumption
- Modifying Kafka Instance Configuration Parameters
- Configuring Kafka Instance Tags
- Exporting the Kafka Instance List
- Restarting a Kafka Instance
- Deleting Kafka Instances
- Using Kafka Manager
- Modifying Kafka Instance Specifications
- Migrating Data
- Applying for Increasing Kafka Quotas
- Monitoring and Alarms
- Viewing Kafka Audit Logs
-
FAQs
-
Instances
- Why Can't I Select Two AZs?
- Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
- How Do I Select Storage Space for a Kafka Instance?
- How Do I Choose Between High I/O and Ultra-high I/O?
- Which Capacity Threshold Policy Should I Use?
- Which Kafka Versions Are Supported?
- What Is the ZooKeeper Address of a Kafka Instance?
- Are Kafka Instances in Cluster Mode?
- Can I Modify the Port for Accessing a Kafka Instance?
- How Long Are Kafka SSL Certificates Valid for?
- How Do I Synchronize Data from One Kafka Instance to Another?
- How Do I Change the SASL_SSL Setting of a Kafka Instance?
- How Do I Modify the SASL Mechanism?
- Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
- Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
- Which Cipher Suites Are Supported by Kafka?
- Can I Change an Instance from Single-AZ Deployment to Multi-AZ Deployment?
- Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I View the AZs Configured for an Existing Instance?
- Do Kafka Instances Support Disk Encryption?
- Can I Change the VPC and Subnet After a Kafka Instance Is Created?
- Where Can I Find Kafka Streams Use Cases?
- Can I Upgrade Kafka Instances?
- Why Is the Version on the Console Different from That in Kafka Manager?
- Specification Modification
-
Connections
- How Do I Select and Configure a Security Group?
- Can I Access a Kafka Instance Over a Public Network?
- How Many Connection Addresses Does a Kafka Instance Have by Default?
- Do Kafka Instances Support Cross-Region Access?
- Do Kafka Instances Support Cross-VPC Access?
- Do Kafka Instances Support Cross-Subnet Access?
- Does DMS for Kafka Support Authentication with Kerberos?
- Does DMS for Kafka Support Password-Free Access?
- Does DMS for Kafka Support Authentication on Clients by the Server?
- Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
- What Are the Differences Between JKS and CRT Certificates?
- Which TLS Version Does DMS for Kafka Support?
- Is There a Limit on the Number of Client Connections to a Kafka Instance?
- How Many Connections Are Allowed from Each IP Address?
- Can I Change the Private Network Addresses of a Kafka Instance?
- Is the Same SSL Certificate Used for Different Instances?
- Why Is It Not Recommended to Use a Sarama Client for Messaging?
-
Topics and Partitions
- Is There a Limit on the Number of Topics in a Kafka Instance?
- Why Is Partition Quantity Limited?
- Can I Reduce the Partition Quantity?
- Why Do I Fail to Create Topics?
- Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
- Why Do Deleted Topics Still Exist?
- Can I View the Disk Space Used by a Topic?
- Can I Add ACL Permissions for Topics?
- What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
- How Do I Increase the Partition Quantity?
- Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
- Can I Delete Unnecessary Topics in a Consumer Group?
- What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
- Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
- Consumer Groups
-
Messages
- What Is the Maximum Size of a Message that Can be Created?
- Why Does Message Poll Often Fail During Rebalancing?
- Why Can't I Query Messages on the Console?
- What Can I Do If Kafka Messages Are Accumulated?
- Why Do Messages Still Exist After the Retention Period Elapses?
- Do Kafka Instances Support Delayed Message Delivery?
- How Do I View the Number of Accumulated Messages?
- Why Is the Message Creation Time Displayed as Year 1970?
-
Kafka Manager
- Can I Configure a Kafka Manager Account to Be Read-Only?
- Why Can't I See Broker Information After Logging In to Kafka Manager?
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- Can I Query the Body of a Message by Using Kafka Manager?
- Can I Change the Port of the Kafka Manager Web UI?
- Which Topic Configurations Can Be Modified on Kafka Manager?
- Why Is Information Displayed on Kafka Manager Inconsistent with Cloud Eye Monitoring Data?
- How Do I Change a Partition Leader for a Topic in Kafka Manager?
- Monitoring & Alarm
-
Instances
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Change History
- API Reference (Kuala Lumpur Region)
-
User Guide (ME-Abu Dhabi Region)
Nesta página
Copiado.
Conceitos básicos
Atualizado em 2024-01-10 GMT+08:00
DMS para Kafka da Huawei Cloud usa o Kafka como mecanismo de mensagens. Este capítulo apresenta explicações de conceitos básicos de Kafka.
Tópico
Um tópico é uma categoria para mensagens. As mensagens são criadas, recuperadas e gerenciadas na forma de tópicos.
Os tópicos adotam o padrão de publicação-assinatura. Produtores publicam mensagens em tópicos. Um ou mais consumidores assinam as mensagens nos tópicos. Produtores e consumidores não estão diretamente ligados entre si.
Produtor
Um produtor publica mensagens em tópicos. As mensagens são então entregues a outros sistemas ou módulos para processamento conforme acordado.
Consumidor
Um consumidor assina mensagens em tópicos e processa as mensagens. Por exemplo, uma plataforma de monitoramento e alarme (um consumidor) que se inscreva para registrar mensagens em determinados tópicos pode identificar logs de alarme e, em seguida, enviar notificações de alarme por SMS ou e-mail.
Broker
Um broker é um processo de Kafka em um cluster de Kafka. Cada processo é executado em um servidor, portanto, um broker inclui o armazenamento, a largura de banda e outros recursos do servidor.
Partição
Um tópico é dividido em partições. As mensagens são distribuídas para várias partições para obter escalabilidade e tolerância a falhas.
Réplicas
Uma réplica é uma cópia redundante de uma partição em um tópico. Cada partição pode ter uma ou mais réplicas, permitindo a confiabilidade da mensagem.
As mensagens em cada partição são totalmente replicadas e sincronizadas, evitando a perda de dados se uma réplica falhar.
Cada partição tem uma réplica como o líder que lida com a criação e recuperações de todas as mensagens. As restantes réplicas são seguidores que replicam o líder.
Tópicos e partições são conceitos lógicos, enquanto réplicas e brokers são conceitos físicos. O diagrama a seguir mostra as relações entre partições, brokers e tópicos no fluxo de mensagens.
Figura 1 Fluxo de mensagens de Kafka
Tempo de envelhecimento
O período durante o qual as mensagens são retidas. Os consumidores devem recuperar as mensagens antes que esse período termine. Caso contrário, as mensagens serão apagadas e não poderão mais ser recuperadas.
Feedback
Esta página foi útil?
Deixar um comentário
Obrigado por seus comentários. Estamos trabalhando para melhorar a documentação.
O sistema está ocupado. Tente novamente mais tarde.
