Distributed Message Service for Kafka
Distributed Message Service for Kafka
Todos os resultados de "
" dentro deste produto
Todos os resultados de "
" dentro deste produto
Visão geral de serviço
Infográficos
O que é DMS for Kafka?
Vantagens do produto
Cenários de aplicação
Especificações
Comparação entre Kafka, RabbitMQ e RocketMQ
Comparação entre DMS for Kafka e Kafka de código aberto
Segurança
Responsabilidades compartilhadas
Autenticação de identidade e controle de acesso
Proteção de dados
Auditoria e logs
Resiliência
Monitoramento de riscos de segurança
Certificados
Observações e restrições
Serviços relacionados
Conceitos básicos
Gerenciamento de permissões
Primeiros passos
Introdução
Passo 1: preparar o ambiente
Passo 2: criar uma instância do Kafka
(Opcional) Passo 3: criar um tópico
Passo 4: conectar-se a uma instância do Kafka para criar e recuperar mensagens
Passo 5: configurar regras de alarme
Práticas comuns
Guia de usuário
Gerenciamento de permissões
Criação de um usuário e concessão de permissões para DMS for Kafka
Políticas personalizadas do DMS for Kafka
Recursos do DMS for Kafka
Condições de solicitação do DMS for Kafka
Preparação dos recursos necessários
Compra de uma instância
Acesso de uma instância do Kafka
Acesso de uma instância do Kafka sem SASL
Acesso de uma instância do Kafka com SASL
Kafka Manager
Acesso entre VPCs a uma instância do Kafka
Uso de DNAT para acessar uma instância do Kafka
Gerenciamento de instâncias
Modificação de especificações de instância
Exibição de uma instância
Reinicialização de uma instância
Exclusão de uma instância
Modificação das informações sobre uma instância
Configuração de acesso público
Alteração do modo de acesso de uma instância
Alteração do modo de cobrança de pagamento por uso para anual/mensal
Redefinição da senha do Kafka
Redefinição da senha do Kafka Manager
Reinicialização do Kafka Manager
Desativação do Kafka Manager
Gerenciamento de tags de instância
Exibição de tarefas em segundo plano
Exibição de uso do disco
Exportação da lista de instâncias
Gerenciamento de tópicos
Criação de um tópico
Exclusão de um tópico
Modificação de tempo de envelhecimento do tópico
Alteração de quantidade de partições
Modificação das configurações de replicação síncrona e liberação
Modificação de Message Timestamp, Max. Message Size e Description
Reatribuição de partições
Exibição de código de exemplo
Exportação da lista de tópicos
Configuração de permissões de tópico
Ativação ou desativação da criação automática de tópico
Exibição de detalhes de tópico
Gerenciamento das mensagens
Consulta das mensagens
Exclusão de uma mensagem
Gerenciamento de usuários
Criação de um usuário SASL_SSL
Redefinição da senha de SASL_SSL
Modificação da descrição do usuário SASL_SSL
Exclusão de um usuário SASL_SSL
Gerenciamento de grupos de consumidores
Criação de um grupo de consumidores
Consulta de detalhes do grupo de consumidores
Exclusão de um grupo de consumidores
Redefinição do deslocamento de consumidor
Exibição de endereços de conexão de consumidor
Exibição de logs de rebalanceamento
Modificação da descrição do grupo de consumidores
Smart Connect
Ativação de Smart Connect
Criação de uma tarefa de Smart Connect (Redis)
Criação de uma tarefa de Smart Connect (Kafka)
Criação de uma tarefa de Smart Connect (despejo)
Criação de uma tarefa de Smart Connect (personalizada)
Gerenciamento de tarefas de Smart Connect
Desativação de Smart Connect
Gerenciamento de cotas do Kafka
Criação de uma cota
Modificação de uma cota
Exclusão de uma cota
Exibição de monitoramento de cota
Modificação de parâmetros do Kafka
Cotas
Monitoramento
Visualização de métricas
Métricas de Kafka
Configuração de regras de alarme
Auditoria
Operações registradas pelo CTS
Melhores práticas
Melhoria da eficiência do processamento de mensagens
Otimização da sondagem de mensagens dos consumidores de DMS for Kafka
Interconexão do Logstash com o Kafka
Uso do MirrorMaker para sincronizar dados entre clusters
Evitação do acúmulo de mensagens
Manuseio da sobrecarga de serviço
Manuseio de dados de serviço irregulares
Configuração de uma regra de alarme para mensagens acumuladas
Referência de API
Antes de começar
Visão geral de API
Chamada das APIs
Fazer uma solicitação de API
Autenticação
Valores retornados
Primeiros passos
APIs V2 (recomendado)
Gerenciamento do ciclo da vida
Criação de uma instância
Listagem de todas as instâncias
Consulta de uma instância
Exclusão de uma instância
Modificação das informações da instância
Reinicialização ou exclusão de instâncias em lote
Obtenção de configurações de instância
Modificação das configurações de instância
Gerenciamento de instâncias
Redefinição da senha
Redefinição da senha do Kafka Manager
Reinicialização do Kafka Manager
Configuração da criação automática dos tópicos
Modificação do endereço IP privado para acesso entre VPCs
Consulta de metadados do cluster do Kafka
Consulta de detalhes do grupo de consumidores
Consulta de detalhes do coordenador de uma instância do Kafka
Reatribuição de réplicas de um tópico para uma instância do Kafka
Consulta do status de uso de disco dos tópicos
Consulta de todos os grupos de consumidores
Exclusão de grupos de consumidores de uma instância do Kafka em lotes
Criação de um grupo de consumidores
Edição de um grupo de consumidores
Inicialização da reatribuição de partição para uma instância do Kafka
Desativação do Kafka Manager
Exclusão de uma cota de usuário ou cliente
Consulta de cotas de usuários ou clientes
Criação de cotas de usuário ou cliente
Modificação de cotas de usuários ou clientes
Redefinição do deslocamento do grupo de consumidores para a posição especificada
Smart Connect
Ativação do Smart Connect (instância de pagamento por uso)
Desativação do Smart Connect (instância de pagamento por uso)
Criação de uma tarefa do Smart Connect
Consulta de tarefas do Smart Connect
Consulta de detalhes de tarefas do Smart Connect
Exclusão de uma tarefa do Smart Connect
Pausa de uma tarefa do Smart Connect
Reinicialização de uma tarefa do Smart Connect
Inicialização de uma tarefa do Smart Connect ou reinicialização de uma tarefa do Smart Connect pausada ou em execução
Gerenciamento de modificação de especificação
Aumento das especificações da instância
Consulta de informações do produto para modificação da especificação de instância
Gerenciamento de tópicos
Produção de mensagens para o Kafka
Criação de um tópico para uma instância do Kafka
Listagem dos tópicos de uma instância de Kafka
Modificação dos tópicos de uma instância de Kafka
Exclusão dos tópicos de uma instância de Kafka em lote
Consulta da lista de partições de um tópico
Consulta da lista atual de produtores de um tópico
Consulta de detalhes do tópico
Gerenciamento de usuário
Consulta da lista de usuários
Criação de um usuário
Exclusão de usuários em lote
Redefinição de uma senha do usuário
Modificação dos parâmetros do usuário
Consulta das permissões de usuário
Concessão de permissões de usuário
Consulta de mensagem
Consulta das mensagens
Consulta de uma mensagem com um deslocamento especificado
Consulta de uma mensagem com um período de tempo especificado
Consulta do deslocamento da mensagem mais antiga em uma partição
Consulta do deslocamento da última mensagem em uma partição
Gerenciamento de tarefas em segundo plano
Listagem das tarefas em segundo plano
Consulta das tarefas em segundo plano
Exclusão de uma tarefa em segundo plano
Gerenciamento de tags
Adição ou exclusão das tags em lote
Listagem das tags de uma instância
Listagem das tags de um projeto
Outras APIs
Listagem de janelas de tempo de manutenção
Listagem de informações de AZ
Consulta da lista de especificações do produto
Consulta das dimensões de monitoramento de instâncias do Kafka
Permissões e ações suportadas
APIs desatualizadas
API V1
APIs para gerenciamento de instâncias
Criação de uma instância
Consulta de uma instância
Modificação de uma instância
Exclusão de uma instância
Reinicialização ou exclusão de instâncias em lote
Consulta de todas as instâncias
Criação de um tópico em uma instância do Kafka
Consulta de um tópico em uma instância de Kafka
Exclusão dos tópicos em uma instância de Kafka em lote
Outras APIs
Consulta de informações da AZ
Consulta das especificações do produto
Consultando janelas de tempo de manutenção
API V2
Adição de partições a um tópico para uma instância do Kafka
Redefinição do deslocamento do grupo de consumidores para a posição especificada
Modificação das cotas de tarefas de despejo
Criação de um pedido para desativar os conectores de despejo de uma instância
Criação de uma tarefa de despejo
Listagem de tarefas de despejo
Consulta de uma tarefa de despejo
Exclusão de uma tarefa de despejo
Apêndice
Código de status
Códigos de erro
Status da instância
Obtenção de um ID de projeto
Obtenção do nome e ID da conta
Histórico de alterações
Perguntas frequentes
Instâncias
Por que não consigo selecionar duas AZs?
Por que não consigo exibir as informações de sub-rede e grupo de segurança ao criar uma instância do DMS?
Como selecionar espaço de armazenamento para uma instância do Kafka?
Como escolher entre I/O alta e I/O ultra alta?
Qual política de limite de capacidade devo usar?
Quais versões do Kafka são suportadas?
Qual é o endereço de ZooKeeper de uma instância de Kafka?
As instâncias do Kafka estão no modo de cluster?
Posso modificar a porta para acessar uma instância do Kafka?
Por quanto tempo os certificados SSL do Kafka são válidos?
Como sincronizar dados de uma instância do Kafka para outra?
Como alterar a configuração de SASL_SSL de uma instância do Kafka?
Como modificar o mecanismo SASL?
Uma instância do Kafka será reiniciada depois que seu projeto empresarial for modificado?
Os agentes de Kafka e o ZooKeeper são implementados na mesma VM ou em VMs diferentes?
Posso excluir uma instância do Kafka cobrada no modo anual/mensal?
Quais conjuntos de cifras são suportados pelo Kafka?
Posso alterar uma instância de implementação de AZ única para implementação de multi-AZ?
O DMS for Kafka suporta a recuperação de desastres entre AZs? Onde posso visualizar as AZs configuradas para uma instância existente?
As instâncias do Kafka suportam criptografia de disco?
Posso alterar a VPC e a sub-rede após a criação de uma instância do Kafka?
Onde posso encontrar casos de uso do Kafka Streams?
Posso atualizar instâncias do Kafka?
Por que a versão no console é diferente da versão no Kafka Manager?
Como vincular um EIP novamente?
Modificação da especificação
A modificação da especificação afeta os serviços?
A migração de dados estará envolvida quando eu aumentar as especificações?
Por que a produção de mensagens falha durante o dimensionamento?
O que posso fazer quando não consigo aumentar as especificações devido a recursos insuficientes?
Conexões
Como selecionar e configurar um grupo de segurança?
Posso acessar uma instância do Kafka em uma rede pública?
Quantos endereços de conexão uma instância do Kafka tem por padrão?
As instâncias do Kafka oferecem suporte ao acesso entre regiões?
As instâncias do Kafka oferecem suporte ao acesso entre VPCs?
As instâncias de Kafka oferecem suporte ao acesso entre sub-redes?
O DMS for Kafka oferece suporte à autenticação com Kerberos?
O DMS for Kafka suporta acesso sem senha?
Como obter o endereço de acesso público depois que o acesso público é ativado?
O DMS for Kafka oferece suporte à autenticação em clientes pelo servidor?
Posso usar o armazenamento confiável de SSL PEM ao conectar-se a uma instância do Kafka com SASL_SSL ativado?
Quais são as diferenças entre os certificados JKS e CRT?
Qual versão do TLS é compatível com o DMS for Kafka?
Há um limite no número de conexões de cliente para uma instância do Kafka?
Quantas conexões são permitidas de cada endereço IP?
Posso alterar os endereços de rede privada de uma instância do Kafka?
O mesmo certificado SSL é usado para instâncias diferentes?
Tópicos e partições
Existe um limite no número de tópicos em uma instância de Kafka?
Por que a quantidade de partição é limitada?
Posso reduzir a quantidade de partição?
Por que não consigo criar tópicos?
As instâncias do Kafka oferecem suporte a importação de tópicos em lote ou criação automática de tópicos?
Por que os tópicos excluídos ainda existem?
Posso visualizar o espaço em disco usado por um tópico?
Posso adicionar permissões de ACL para tópicos?
O que devo fazer se o espaço de armazenamento do Kafka for usado porque as mensagens recuperadas não são excluídas?
Como aumentar a quantidade de partições?
Uma instância do Kafka será reiniciada após a modificação da configuração automática de criação de tópicos?
Posso excluir tópicos desnecessários em um grupo de consumidores?
O que posso fazer se um consumidor não conseguir recuperar mensagens de um tópico devido a permissões insuficientes?
Por que uma instância contém tópicos padrão __trace e __consumer_offsets?
Grupos de consumidores
Preciso criar grupos de consumidores, produtores e consumidores para instâncias do Kafka?
Um grupo de consumidores sem consumidores ativos será automaticamente excluído em 14 dias?
Por que vejo um grupo de consumidores excluídos no Kafka Manager?
Por que um grupo de consumidores excluído ainda existe?
Mensagens
Qual é o tamanho máximo de uma mensagem que pode ser criada?
Por que a pesquisa de mensagens geralmente falha durante o rebalanceamento?
Por que não consigo consultar mensagens no console?
O que fazer se as mensagens do Kafka forem acumuladas?
Por que as mensagens ainda existem após o término do período de retenção?
As instâncias do Kafka suportam entrega de mensagens atrasadas?
Como ver o número de mensagens acumuladas?
Por que o tempo de criação da mensagem é exibido como ano de 1970?
Como modificar max.message.bytes?
Kafka Manager
Posso configurar uma conta de Kafka Manager para ser somente leitura?
Por que não consigo ver as informações do agente após fazer logon no Kafka Manager?
Opa! Balanceamento de partição insuficiente ao criar o tópico: projectman_project_enterprise_project tente novamente.
Posso consultar o corpo de uma mensagem usando o Kafka Manager?
Posso alterar a porta da interface do usuário da Web do Kafka Manager?
Quais configurações de tópico podem ser modificadas no Kafka Manager?
Por que as informações exibidas no Kafka Manager são inconsistentes com os dados de monitoramento do Cloud Eye?
Como alterar um líder de partição para um tópico no Kafka Manager?
Monitoramento e alarme
Por que não consigo visualizar os dados de monitoramento?
Por que o número monitorado de mensagens acumuladas é inconsistente com a quantidade de mensagens exibidas no console do Kafka?
Por que um grupo de consumidores ainda está na página de monitoramento depois de ser excluído?
What's New
Function Overview
Product Bulletin
Product Bulletin
Distributed Message Service for Kafka v2.3.0 Will Be Discontinued
Vulnerability Notices
Vulnerability Fixing Policies
Version Notes
Version Support Notes
Release Notes
Billing
Billing Overview of DMS for Kafka
Billing Modes
Billing Modes of DMS for Kafka
Yearly/Monthly
Pay-per-Use
Billing Items
Billing Examples
Billing Mode Changes
Overview
Pay-per-Use to Yearly/Monthly
Yearly/Monthly to Pay-per-Use
Renewal
Overview
Manual Renewal
Auto Renewal
Bills
Arrears
Stopping Billing
Cost Management
Developer Guide
Overview
Collecting Connection Information
Java
Configuring Kafka Clients in Java
Setting Up the Java Development Environment
Python
Go
Obtaining an Open-Source Kafka Client
Using spring-kafka
SDK Reference
SDK Overview
Troubleshooting
Troubleshooting Kafka Connection Exceptions
Troubleshooting 6-Min Latency Between Message Creation and Retrieval
Troubleshooting Message Creation Failures
Troubleshooting Topic Deletion Failures
Troubleshooting Failure to Log In to Kafka Manager in Windows
Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
Flink 1.15 Consumption Progress Submission Failure
Videos
More Documents
User Guide (ME-Abu Dhabi Region)
Service Overview
What Is DMS for Kafka?
Product Advantages
Application Scenarios
Specifications
Comparing Kafka, RabbitMQ, and RocketMQ
Comparing DMS for Kafka and Open-Source Kafka
Notes and Constraints
Related Services
Basic Concepts
Permissions Management
Billing
Getting Started
Introduction
Step 1: Prepare the Environment
Step 2: Create a Kafka Instance
(Optional) Step 3: Create a Topic
Step 4: Connect to a Kafka Instance to Create and Retrieve Messages
Connecting to an Instance Without SASL
Connecting to an Instance with SASL
Step 5: Configure Alarm Rules
Permissions Management
Creating a User and Granting DMS for Kafka Permissions
DMS for Kafka Custom Policies
DMS for Kafka Resources
DMS for Kafka Request Conditions
Preparing Required Resources
Buying an Instance
Accessing a Kafka Instance
Accessing a Kafka Instance Without SASL
Accessing a Kafka Instance with SASL
Connecting to Kafka Manager and Viewing Kafka Information
Managing Instances
Modifying Instance Specifications
Viewing an Instance
Restarting an Instance
Deleting an Instance
Modifying the Information About an Instance
Configuring Public Access
Resetting Kafka Manager Password
Restarting Kafka Manager
Managing Instance Tags
Viewing Background Tasks
Viewing Disk Usage
Managing Topics
Creating a Topic
Deleting a Topic
Modifying Topic Aging Time
Changing Partition Quantity
Modifying Synchronous Replication and Flushing Settings
Partition Reassignment
Viewing Sample Code
Exporting Topics
Configuring Topic Permissions
Managing Messages
Querying Messages
Managing Users
Creating a SASL_SSL User
Resetting the SASL_SSL Password
Deleting a SASL_SSL User
Managing Consumer Groups
Querying Consumer Group Details
Deleting a Consumer Group
Resetting the Consumer Offset
Viewing Consumer Connection Addresses
Managing Kafka Quotas
Creating a Quota
Modifying a Quota
Deleting a Quota
Modifying Kafka Parameters
Quotas
Monitoring
Viewing Metrics
Kafka Metrics
Configuring Alarm Rules
Auditing
Operations Logged by CTS
Viewing Audit Logs
FAQs
Instances
Why Can't I Select Two AZs?
Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
How Do I Select Storage Space for a Kafka Instance?
How Do I Choose Between High I/O and Ultra-high I/O?
Which Capacity Threshold Policy Should I Use?
Which Kafka Versions Are Supported?
What Is the ZooKeeper Address of a Kafka Instance?
Are Kafka Instances in Cluster Mode?
Can I Modify the Port for Accessing a Kafka Instance?
How Long Are Kafka SSL Certificates Valid for?
How Do I Synchronize Data from One Kafka Instance to Another?
How Do I Change the SASL_SSL Setting of a Kafka Instance?
How Do I Modify the SASL Mechanism?
Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
Which Cipher Suites Are Supported by Kafka?
Can I Change an Instance from Single-AZ Deployment to Multi-AZ Deployment?
Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I View the AZs Configured for an Existing Instance?
Do Kafka Instances Support Disk Encryption?
Does Specification Modification Affect Services?
Can I Change the VPC and Subnet After a Kafka Instance Is Created?
Where Can I Find Kafka Streams Use Cases?
Can I Upgrade Kafka Instances?
Why Is the Version on the Console Different from That in Kafka Manager?
How Do I Bind an EIP Again?
Connections
How Do I Select and Configure a Security Group?
Can I Access a Kafka Instance Over a Public Network?
How Many Connection Addresses Does a Kafka Instance Have by Default?
Do Kafka Instances Support Cross-Region Access?
Do Kafka Instances Support Cross-VPC Access?
Do Kafka Instances Support Cross-Subnet Access?
Does DMS for Kafka Support Authentication with Kerberos?
Does DMS for Kafka Support Password-Free Access?
How Do I Obtain the Public Access Address After Public Access Is Enabled?
Does DMS for Kafka Support Authentication on Clients by the Server?
Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
What Are the Differences Between JKS and CRT Certificates?
Which TLS Version Does DMS for Kafka Support?
Is There a Limit on the Number of Client Connections to a Kafka Instance?
How Many Connections Are Allowed from Each IP Address?
Can I Change the Private Network Addresses of a Kafka Instance?
Is the Same SSL Certificate Used for Different Instances?
Topics and Partitions
Is There a Limit on the Number of Topics in a Kafka Instance?
Why Is Partition Quantity Limited?
Can I Change the Partition Quantity?
Why Do I Fail to Create Topics?
Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
Why Do Deleted Topics Still Exist?
Can I View the Disk Space Used by a Topic?
Can I Add ACL Permissions for Topics?
What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
How Do I Increase the Partition Quantity?
Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
How Do I Disable Automatic Topic Creation?
Can I Delete Unnecessary Topics in a Consumer Group?
What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
Consumer Groups
Do I Need to Create Consumer Groups, Producers, and Consumers for Kafka Instances?
Will a Consumer Group Without Active Consumers Be Automatically Deleted in 14 Days?
Why Do I See a Deleted Consumer Group on Kafka Manager?
Messages
What Is the Maximum Size of a Message that Can be Created?
Why Does Message Poll Often Fail During Rebalancing?
Why Can't I Query Messages on the Console?
What Can I Do If Kafka Messages Are Accumulated?
Why Do Messages Still Exist After the Retention Period Elapses?
Do Kafka Instances Support Delayed Message Delivery?
How Do I View the Number of Accumulated Messages?
Why Is the Message Creation Time Displayed as Year 1970?
Kafka Manager
Can I Configure a Kafka Manager Account to Be Read-Only?
Why Can't I See Broker Information After Logging In to Kafka Manager?
Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
Can I Query the Body of a Message by Using Kafka Manager?
Can I Change the Port of the Kafka Manager Web UI?
Which Topic Configurations Can Be Modified on Kafka Manager?
Why Is Information Displayed on Kafka Manager Inconsistent with Cloud Eye Monitoring Data?
How Do I Change a Partition Leader for a Topic in Kafka Manager?
Monitoring & Alarm
Why Can't I View the Monitoring Data?
Why Is the Monitored Number of Accumulated Messages Inconsistent with the Message Quantity Displayed on the Kafka Console?
Why Is a Consumer Group Still on the Monitoring Page After Being Deleted?
Troubleshooting
Troubleshooting Kafka Connection Exceptions
Troubleshooting 6-Min Latency Between Message Creation and Retrieval
Troubleshooting Message Creation Failures
Troubleshooting Topic Deletion Failures
Troubleshooting Failure to Log In to Kafka Manager in Windows
Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
Change History
API Reference (ME-Abu Dhabi Region)
Before You Start
Overview
API Calling
Endpoints
Constraints
Concepts
API Overview
Calling APIs
Making an API Request
Authentication
Response
Getting Started
APIs for Managing Instances
Creating an Instance
Querying an Instance
Modifying an Instance
Deleting an Instance
Restarting or Deleting Instances in Batches
Querying All Instances
Creating a Topic in a Kafka Instance
Querying a Topic in a Kafka Instance
Deleting Topics in a Kafka Instance in Batches
Other APIs
Querying AZ Information
Querying Product Specifications
Querying Maintenance Time Windows
Permissions Policies and Supported Actions
Appendix
Status Code
Error Codes
Instance Status
Obtaining a Project ID
Obtaining the Account Name and Account ID
Change History
User Guide (Paris Region)
Service Overview
What Is DMS for Kafka?
Product Advantages
Application Scenarios
Specifications
Comparing Kafka Instances and DMS Advanced Queues
Comparing Kafka and RocketMQ
Comparing DMS for Kafka and Open-Source Kafka
Notes and Constraints
Related Services
Basic Concepts
Permissions Management
Billing
Getting Started
Introduction
Step 1: Prepare the Environment
Step 2: Create a Kafka Instance
(Optional) Step 3: Create a Topic
Step 4: Connect to a Kafka Instance to Create and Retrieve Messages
Step 5: Configure Alarm Rules
Permissions Management
Creating a User and Granting DMS for Kafka Permissions
DMS for Kafka Custom Policies
DMS for Kafka Resources
DMS for Kafka Request Conditions
Preparing Required Resources
Creating an Instance
Accessing a Kafka Instance
Accessing a Kafka Instance Without SASL
Accessing a Kafka Instance with SASL
Kafka Manager
Cross-VPC Access to a Kafka Instance
Using DNAT to Access a Kafka Instance
Generating and Replacing a Certificate
Configuring Mutual SSL Authentication
Managing Instances
Modifying Instance Specifications
Viewing an Instance
Restarting an Instance
Deleting an Instance
Modifying the Information About an Instance
Configuring Public Access
Resetting Kafka Password
Resetting Kafka Manager Password
Managing Instance Tags
Viewing Background Tasks
Viewing Disk Usage
Managing Topics
Creating a Topic
Deleting a Topic
Modifying Topic Aging Time
Changing Partition Quantity
Modifying Synchronous Replication and Flushing Settings
Reassigning Partitions
Viewing Sample Code
Exporting the Topic List
Configuring Topic Permissions
Managing Messages
Querying Messages
Managing Users
Creating a SASL_SSL User
Resetting the SASL_SSL Password
Deleting a SASL_SSL User
Managing Consumer Groups
Querying Consumer Group Details
Deleting a Consumer Group
Resetting the Consumer Offset
Viewing Consumer Connection Addresses
Managing Kafka Quotas
Creating a Quota
Modifying a Quota
Deleting a Quota
Viewing Quota Monitoring
Modifying Kafka Parameters
Quotas
Monitoring
Viewing Metrics
Kafka Metrics
Configuring Alarm Rules
Auditing
Operations Logged by CTS
Querying Real-Time Traces
FAQs
Instances
Why Can't I Select Two AZs?
Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
How Do I Select Storage Space for a Kafka Instance?
How Do I Choose Between High I/O and Ultra-high I/O?
Which Capacity Threshold Policy Should I Use?
Which Kafka Versions Are Supported?
What Is the ZooKeeper Address of a Kafka Instance?
Are Kafka Instances in Cluster Mode?
Can I Modify the Port for Accessing a Kafka Instance?
How Long Are Kafka SSL Certificates Valid for?
How Do I Synchronize Data from One Kafka Instance to Another?
How Do I Change the SASL_SSL Setting of a Kafka Instance?
How Do I Modify the SASL Mechanism?
Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
Which Cipher Suites Are Supported by Kafka?
Can I Change an Instance from Single-AZ Deployment to Multi-AZ Deployment?
Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I View the AZs Configured for an Existing Instance?
Do Kafka Instances Support Disk Encryption?
Can I Change the VPC and Subnet After a Kafka Instance Is Created?
Where Can I Find Kafka Streams Use Cases?
Can I Upgrade Kafka Instances?
Why Is the Version on the Console Different from That in Kafka Manager?
How Do I Bind an EIP Again?
Specification Modification
Does Specification Modification Affect Services?
Will Data Migration Be Involved When I Increase Specifications?
Why Does Message Production Fail During Scaling?
What Can I Do When I Fail to Increase Specifications Due to Insufficient Resources?
Connections
How Do I Select and Configure a Security Group?
Can I Access a Kafka Instance Over a Public Network?
How Many Connection Addresses Does a Kafka Instance Have by Default?
Do Kafka Instances Support Cross-Region Access?
Do Kafka Instances Support Cross-VPC Access?
Do Kafka Instances Support Cross-Subnet Access?
Does DMS for Kafka Support Authentication with Kerberos?
Does DMS for Kafka Support Password-Free Access?
How Do I Obtain the Public Access Address After Public Access Is Enabled?
Does DMS for Kafka Support Authentication on Clients by the Server?
Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
What Are the Differences Between JKS and CRT Certificates?
Which TLS Version Does DMS for Kafka Support?
Is There a Limit on the Number of Client Connections to a Kafka Instance?
How Many Connections Are Allowed from Each IP Address?
Can I Change the Private Network Addresses of a Kafka Instance?
Is the Same SSL Certificate Used for Different Instances?
Why Is It Not Recommended to Use a Sarama Client for Messaging?
Topics and Partitions
Is There a Limit on the Number of Topics in a Kafka Instance?
Why Is Partition Quantity Limited?
Can I Reduce the Partition Quantity?
Why Do I Fail to Create Topics?
Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
Why Do Deleted Topics Still Exist?
Can I View the Disk Space Used by a Topic?
Can I Add ACL Permissions for Topics?
What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
How Do I Increase the Partition Quantity?
Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
How Do I Disable Automatic Topic Creation?
Can I Delete Unnecessary Topics in a Consumer Group?
What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
Consumer Groups
Do I Need to Create Consumer Groups, Producers, and Consumers for Kafka Instances?
Will a Consumer Group Without Active Consumers Be Automatically Deleted in 14 Days?
Why Do I See a Deleted Consumer Group on Kafka Manager?
Why Can't I View Consumers When Instance Consumption Is Normal?
Messages
What Is the Maximum Size of a Message that Can be Created?
Why Does Message Poll Often Fail During Rebalancing?
Why Can't I Query Messages on the Console?
What Can I Do If Kafka Messages Are Accumulated?
Why Do Messages Still Exist After the Retention Period Elapses?
Do Kafka Instances Support Delayed Message Delivery?
How Do I View the Number of Accumulated Messages?
Why Is the Message Creation Time Displayed as Year 1970?
Kafka Manager
Can I Configure a Kafka Manager Account to Be Read-Only?
Why Can't I See Broker Information After Logging In to Kafka Manager?
Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
Can I Query the Body of a Message by Using Kafka Manager?
Can I Change the Port of the Kafka Manager Web UI?
Which Topic Configurations Can Be Modified on Kafka Manager?
How Do I Change a Partition Leader for a Topic in Kafka Manager?
Monitoring & Alarm
Why Can't I View the Monitoring Data?
Why Is the Monitored Number of Accumulated Messages Inconsistent with the Message Quantity Displayed on the Kafka Console?
Why Is a Consumer Group Still on the Monitoring Page After Being Deleted?
Troubleshooting
Troubleshooting Kafka Connection Exceptions
Troubleshooting 6-Min Latency Between Message Creation and Retrieval
Troubleshooting Message Creation Failures
Troubleshooting Topic Deletion Failures
Troubleshooting Failure to Log In to Kafka Manager in Windows
Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
Change History
API Reference (Paris Region)
Before You Start
Overview
API Calling
Endpoints
Constraints
Concepts
API Overview
Calling APIs
Making an API Request
Authentication
Returned Values
Getting Started
APIs V2 (Recommended)
Lifecycle Management
Creating an Instance
Listing All Instances
Querying an Instance
Deleting an Instance
Modifying Instance Information
Batch Restarting or Deleting Instances
Instance Management
Resetting the Password
Resetting Kafka Manager Password
Configuring Automatic Topic Creation
Modifying the Private IP Address for Cross-VPC Access
Querying Kafka Cluster Metadata
Querying Consumer Group Details
Resetting Consumer Group Offset to the Specified Position
Querying Coordinator Details of a Kafka Instance
Adding Partitions to a Topic for a Kafka Instance
Reassigning Replicas of a Topic for a Kafka Instance
Querying the Disk Usage Status of Topics
Querying All Consumer Groups
Querying a Specific Consumer Group
Deleting a Consumer Group from a Kafka Instance
Batch Deleting Consumer Groups of a Kafka Instance
Initiating Partition Reassigning for a Kafka Instance
Specification Modification Management
Modifying Instance Specifications
Querying Product Information for Instance Specification Modification
Topic Management
Creating a Topic for a Kafka Instance
Listing Topics of a Kafka Instance
Modifying Topics of a Kafka Instance
Batch Deleting Topics of a Kafka Instance
Querying the Partition List of a Topic
Querying the Current Producer List of a Topic
Querying Topic Details
User Management
Querying the User List
Creating a User
Deleting Users in Batches
Resetting a User Password
Querying User Permissions
Granting User Permissions
Message Query
Querying Messages
Querying a Message with a Specified Offset
Querying a Message with a Specified Time Period
Querying Offset of the Earliest Message in a Partition
Querying Offset of the Latest Message in a Partition
Background Task Management
Listing Background Tasks
Querying a Background Task
Deleting a Background Task
Tag Management
Batch Adding or Deleting Tags
Listing Tags of an Instance
Listing Tags of a Project
Other APIs
Listing Maintenance Time Windows
Listing AZ Information
Querying Product Specifications List
Querying Kafka Instance Monitoring Dimensions
Permissions and Supported Actions
Out-of-Date APIs
API V1
APIs for Managing Instances
Creating an Instance
Querying an Instance
Modifying an Instance
Deleting an Instance
Restarting or Deleting Instances in Batches
Querying All Instances
Creating a Topic in a Kafka Instance
Querying a Topic in a Kafka Instance
Deleting Topics in a Kafka Instance in Batches
Other APIs
Querying AZ Information
Querying Product Specifications
Querying Maintenance Time Windows
Appendix
Status Code
Error Codes
Instance Status
Obtaining a Project ID
Obtaining the Account Name and Account ID
Change History
Developer Guide (Paris Region)
Overview
Collecting Connection Information
Java
Configuring Kafka Clients in Java
Setting Up the Java Development Environment
Python
Go
Obtaining an Open-Source Kafka Client
Change History
User Guide (Kuala Lumpur Region)
Service Overview
What Is DMS for Kafka?
Product Advantages
Application Scenarios
Kafka Instance Specifications
Cluster Kafka Instances
Comparing Kafka, RabbitMQ, and RocketMQ
Comparing DMS for Kafka and Open-Source Kafka
Notes and Constraints
Related Services
Basic Concepts
Permissions
Getting Started
Getting Started with Kafka for Message Production and Consumption
Process of Using Kafka
Permissions Management
Creating an IAM User and Granting DMS for Kafka Permissions
Buying a Kafka Instance
Configuring Topics
Creating a Kafka Topic
Configuring Kafka Topic Permissions
Managing Topics
Viewing Kafka Topic Details
Viewing Kafka Topic Logs
Modifying Kafka Topic Configurations
Changing Kafka Partition Quantity
Modifying Kafka Topic Replicas
Exporting the Kafka Topic List
Reassigning Kafka Partitions
Configuring Automatic Topic Creation
Deleting a Kafka Topic
Connecting to an Instance
Configuring Kafka Network Connections
Kafka Network Connection Conditions
Accessing Kafka Using a VPC Endpoint Across VPCs
Configuring Kafka Access Control
Configuring Kafka ACL Users
Configuring the Kafka Client
Setting Parameters for Kafka Clients
Suggestions on Using the Kafka Client
Connecting to Kafka Using the Client (Plaintext Access)
Connecting to Kafka Using the Client (Ciphertext Access)
Connecting to Kafka on the Console
Managing Messages
Viewing Kafka Messages
Changing Kafka Message Retention Period
Deleting Kafka Messages
Managing Consumer Groups
Creating a Kafka Consumer Group
Querying the Kafka Consumer Group List
Viewing Kafka Consumer Information
Viewing and Resetting Kafka Consumption Offsets
Viewing Kafka Rebalancing Logs
Exporting Kafka Consumer Groups
Deleting a Kafka Consumer Group
Unsubscribing a Kafka Consumer Group from a Topic
Managing Quotas
Configuring Kafka Quotas
Monitoring Kafka Quotas
Managing Instances
Viewing and Modifying Basic Information of a Kafka Instance
Viewing Kafka Disk Usage
Viewing Kafka Background Tasks
Viewing Sample Code of Kafka Production and Consumption
Modifying Kafka Instance Configuration Parameters
Configuring Kafka Instance Tags
Configuring Kafka Recycling Policies
Exporting the Kafka Instance List
Restarting a Kafka Instance
Deleting Kafka Instances
Using Kafka Manager
Accessing Kafka Manager
Resetting Kafka Manager Password
Restarting Kafka Manager
Disabling Kafka Manager
Modifying Instance Specifications
Modifying Cluster Kafka Instance Specifications
Migrating Data
Kafka Data Migration Overview
Using MirrorMaker to Synchronize Data Across Clusters
Applying for Increasing Kafka Quotas
Monitoring and Alarms
Viewing Kafka Metrics
Kafka Metrics
Configuring a Kafka Alarm Rule
Viewing Kafka Audit Logs
FAQs
Instances
Why Can't I Select Two AZs?
Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
How Do I Select Storage Space for a Kafka Instance?
How Do I Choose Between High I/O and Ultra-high I/O?
Which Capacity Threshold Policy Should I Use?
Which Kafka Versions Are Supported?
What Is the ZooKeeper Address of a Kafka Instance?
Are Kafka Instances in Cluster Mode?
Can I Modify the Port for Accessing a Kafka Instance?
How Long Are Kafka SSL Certificates Valid for?
How Do I Synchronize Data from One Kafka Instance to Another?
How Do I Change the SASL_SSL Setting of a Kafka Instance?
How Do I Modify the SASL Mechanism?
Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
Which Cipher Suites Are Supported by Kafka?
Can I Change Single-AZ Deployment to Multi-AZ Deployment for an Instance?
Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I Check Whether an Existing Instance is Across-AZs?
Do Kafka Instances Support Disk Encryption?
Can I Change the VPC and Subnet After a Kafka Instance Is Created?
Where Can I Find Kafka Streams Use Cases?
Can I Upgrade Kafka Instances?
Why Are the Earliest Messages Not Automatically Deleted When the Disk Capacity Reaches 95%?
Specification Modification
Does Specification Modification Affect Services?
Will Data Migration Be Involved When I Increase Specifications?
Why Does Message Production Fail During Scaling?
What Can I Do When I Fail to Increase Specifications Due to Insufficient Resources?
Connections
How Do I Select and Configure a Security Group?
Can I Access a Kafka Instance Over a Public Network?
How Many Connection Addresses Does a Kafka Instance Have by Default?
Do Kafka Instances Support Cross-Region Access?
Do Kafka Instances Support Cross-VPC Access?
Do Kafka Instances Support Cross-Subnet Access?
Does DMS for Kafka Support Authentication with Kerberos?
Does DMS for Kafka Support Password-Free Access?
Does DMS for Kafka Support Authentication on Clients by the Server?
Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
What Are the Differences Between JKS and CRT Certificates?
Which TLS Version Does DMS for Kafka Support?
Is There a Limit on the Number of Client Connections to a Kafka Instance?
How Many Connections Are Allowed from Each IP Address?
Can I Change the Private Network Addresses of a Kafka Instance?
Is the Same SSL Certificate Used for Different Instances?
Why Is It Not Recommended to Use a Sarama Client for Messaging?
Topics and Partitions
Is There a Limit on the Number of Topics in a Kafka Instance?
Why Is Partition Quantity Limited?
Can I Reduce the Partition Quantity?
Why Do I Fail to Create Topics?
Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
Can I View the Disk Space Used by a Topic?
Can I Add ACL Permissions for Topics?
What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
How Do I Increase the Partition Quantity?
Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
Can I Purchase Partitions Separately?
Consumer Groups
Do I Need to Create Consumer Groups, Producers, and Consumers for Kafka Instances?
Will a Consumer Group Without Active Consumers Be Automatically Deleted in 14 Days?
Why Does a Deleted Consumer Group Still Exist?
Why Can't I View Consumers When Instance Consumption Is Normal?
Can I Delete Unnecessary Topics in a Consumer Group?
Why Are Consumer Groups Missing?
Messages
What Is the Maximum Size of a Message that Can be Created?
Why Does Message Poll Often Fail During Rebalancing?
Why Can't I Query Messages on the Console?
What Can I Do If Kafka Messages Are Accumulated?
Why Do Messages Still Exist After the Retention Period Elapses?
Do Kafka Instances Support Delayed Message Delivery?
How Do I View the Number of Accumulated Messages?
Why Is the Message Creation Time Displayed as Year 1970?
How Do I Modify message.max.bytes?
Why Are Offsets Not Continuous?
Kafka Manager
Can I Configure a Kafka Manager Account to Be Read-Only?
Why Can't I See Broker Information After Logging In to Kafka Manager?
Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
Can I Query the Body of a Message by Using Kafka Manager?
Can I Change the Port of the Kafka Manager Web UI?
Which Topic Configurations Can Be Modified on Kafka Manager?
Why Is Information Displayed on Kafka Manager Inconsistent with Cloud Eye Monitoring Data?
How Do I Change a Partition Leader for a Topic in Kafka Manager?
Why Is the Version on the Console Different from That in Kafka Manager?
Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
Why Do I See a Deleted Consumer Group on Kafka Manager?
Monitoring & Alarm
Why Can't I View the Monitoring Data?
Why Is the Monitored Number of Accumulated Messages Inconsistent with the Message Quantity Displayed on the Kafka Console?
Why Is a Consumer Group Still on the Monitoring Page After Being Deleted?
Why Do Metrics Fluctuate Significantly (Disk Read/Write Speed, Average Disk Read/Write Time, and CPU Usage)?
Why Does JVM Heap Memory Usage of JVM Fluctuate Significantly?
Why Is Production Rate Still 0 When There Are Produced Messages?
Why Is the Number of Stacked Messages Monitored as 0 when Messages Are Stacked?
Troubleshooting
Troubleshooting Kafka Connection Exceptions
Troubleshooting 6-Min Latency Between Message Creation and Retrieval
Troubleshooting Message Creation Failures
Troubleshooting Topic Deletion Failures
Troubleshooting Failure to Log In to Kafka Manager in Windows
Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
Flink 1.15 Consumption Progress Submission Failure
Change History
API Reference (Kuala Lumpur Region)
Before You Start
API Overview
Calling APIs
Making an API Request
Authentication
Returned Values
Getting Started
APIs V2 (Recommended)
Managing Lifecycle
Creating a Kafka Instance
Listing All Instances
Querying an Instance
Deleting an Instance
Modifying Instance Information
Batch Restarting or Deleting Instances
Obtaining Instance Configurations
Modifying Instance Configurations
Instance Management
Resetting the Password
Resetting Kafka Manager Password
Restarting Kafka Manager
Modifying the Private IP Address for Cross-VPC Access
Querying Kafka Cluster Metadata
Querying Coordinator Details of a Kafka Instance
Querying the Disk Usage Status of Topics
Disabling Kafka Manager
Deleting a User or Client Quota
Querying User or Client Quotas
Creating User or Client Quotas
Modifying User or Client Quotas
Querying Kafka Instance Rebalancing Log Details
Enabling Kafka Instance Rebalancing Logging
Disabling Kafka Instance Rebalancing Logging
Specification Modification Management
Increasing Instance Specifications
Querying Product Information for Instance Specification Modification
Topic Management
Configuring Automatic Topic Creation
Reassigning Replicas of a Topic for a Kafka Instance
Producing Messages to Kafka
Creating a Topic for a Kafka Instance
Listing Topics of a Kafka Instance
Modifying Topics of a Kafka Instance
Batch Deleting Topics of a Kafka Instance
Querying the Partition List of a Topic
Querying the Current Producer List of a Topic
Querying Topic Details
Deleting a Topic Quota
Creating a Topic Quota
Modifying a Topic Quota
Querying a Topic Quota
Initiating Partition Reassignment for a Kafka Instance
Managing Consumer Groups
Querying Consumer Group Details
Querying All Consumer Groups
Deleting Consumer Groups of a Kafka Instance in Batches
Creating a Consumer Group
Resetting Consumer Group Offset to the Specified Position
Querying the Offset of a Consumer Group
Querying a Specified Consumer Group
Deleting a Specified Consumer Group
Querying Topics of a Specified Consumer Group
Deleting Consumer Offset in a Specified Topic
Querying Consumers in a Specified Consumer Group
User Management
Querying the User List
Creating a User
Deleting Users in Batches
Resetting a User Password
Querying User Permissions
Granting User Permissions
Managing Messages
Querying Messages
Querying a Message with a Specified Offset
Querying a Message with a Specified Time Period
Querying Offset of the Earliest Message in a Partition
Querying Offset of the Latest Message in a Partition
Deleting a Kafka Message
Background Task Management
Listing Background Tasks
Querying a Background Task
Deleting a Background Task
Tag Management
Batch Adding or Deleting Tags
Listing Tags of an Instance
Listing Tags of a Project
Other APIs
Listing Maintenance Time Windows
Listing AZ Information
Querying Product Specifications List
Querying Kafka Instance Monitoring Dimensions
Querying vCPUs of a Kafka Flavor
Permissions and Supported Actions
Out-of-Date APIs
API V1
APIs for Managing Instances
Creating an Instance
Querying an Instance
Modifying an Instance
Deleting an Instance
Restarting or Deleting Instances in Batches
Querying All Instances
Creating a Topic in a Kafka Instance
Querying a Topic in a Kafka Instance
Deleting Topics in a Kafka Instance in Batches
Other APIs
Querying AZ Information
Querying Product Specifications
Querying Maintenance Time Windows
API V2
Managing Lifecycle
Creating an Instance
Instance Management
Initiating Partition Reassignment for a Kafka Instance
Specification Modification Management
Querying Product Information for Instance Specification Modification
Increasing Instance Specifications
Appendix
Status Code
Error Codes
Instance Status
Obtaining a Project ID
Obtaining the Account Name and Account ID
Change History