- Descripción general del servicio
- Pasos iniciales
-
Guía del usuario
- Gestión de permisos
- Preparación de los recursos requeridos
- Compra de una instancia
- Acceso a una instancia de Kafka
-
Gestión de instancias
- Modificación de especificaciones de instancia
- Consulta de una instancia
- Reinicio de una instancia
- Eliminación de una instancia
- Modificación de la información acerca de una instancia
- Configuración del acceso público
- Restablecimiento de la contraseña de usuario SASL_SSL
- Restablecimiento de la contraseña de Kafka Manager
- Reinicio de Kafka Manager
- Habilitación de dumping
- Gestión de etiquetas de instancia
- Consulta de tareas del fondo
- Consulta del uso del disco
- Gestión de temas
- Gestión de mensajes
- Gestión de usuarios
- Gestión de grupos de consumidores
- Modificación de parámetros de Kafka
- Cuotas
- Monitoreo
- Auditoría
-
Referencia de la API
- Antes de comenzar
- Descripción de la API
- Llamar a APIs
- Pasos iniciales
-
APIs V2 (Recomendado)
- Gestión del ciclo de vida
-
Gestión de instancias
- Restablecimiento de la contraseña
- Restablecimiento de la contraseña de Kafka Manager
- Reinicio de Kafka Manager
- Configuración de la creación automática de temas
- Modificación de la dirección IP privada para el acceso entre VPC
- Consulta de metadatos de clúster de Kafka
- Consulta de los detalles del grupo de consumidores
- Restablecimiento de offset de grupo de consumidores en la posición especificada
- Consulta de detalles del coordinador de una instancia de Kafka
- Adición de particiones a un tema para una instancia de Kafka
- Reasignación de réplicas de un tema para una instancia de Kafka
- Consulta del estado de uso del disco de los temas
- Consulta de todos los grupos de consumidores
- Gestión de volcado
- Gestión de modificación de especificación
- Gestión de temas
- Gestión de usuarios
- Consulta de mensaje
- Gestión de tareas en segundo plano
- Gestión de etiquetas
- Otras API
- Políticas de permisos y acciones admitidas
-
API fuera de fecha
-
API V1
-
API para gestionar instancias
- Creación de una instancia
- Consulta de una instancia
- Modificación de una instancia
- Eliminación de una instancia
- Reinicio o eliminación de instancias por lotes
- Consulta de todas las instancias
- Creación de un tema en una instancia de Kafka
- Consulta de un tema en una instancia de Kafka
- Eliminación de temas en una instancia de Kafka por lotes
- Otras API
-
API para gestionar instancias
-
API V1
- Apéndice
- Historial de revisiones
-
Preguntas frecuentes
-
Instancias
- ¿Por qué no puedo seleccionar dos AZ?
- ¿Por qué no puedo ver la información de subred y de grupo de seguridad al crear una instancia de DMS?
- ¿Cómo selecciono espacio de almacenamiento para una instancia de Kafka?
- ¿Cómo puedo elegir entre E/S alta y E/S ultraalta?
- ¿Qué política de umbral de capacidad debo usar?
- ¿Cuáles de las versiones de Kafka son compatibles?
- ¿Qué es la dirección ZooKeeper de una instancia de Kafka?
- ¿Las instancias de Kafka están en modo de clúster?
- ¿Puedo modificar el puerto para acceder a una instancia de Kafka?
- ¿Durante cuánto tiempo son válidos los certificados de SSL de Kafka?
- ¿Cómo sincronizo datos de una instancia de Kafka a otra?
- ¿Cómo cambio el ajuste de SASL_SSL de una instancia de Kafka?
- ¿Cómo modifico el mecanismo de SASL?
- ¿Se reiniciará una instancia de Kafka después de que se modifique su proyecto de empresa?
- ¿Se despliegan brokers de Kafka y ZooKeeper en una misma máquina virtual o en las diferentes máquinas virtuales?
- ¿Puedo eliminar una instancia de Kafka facturada en modo anual/mensual?
- ¿Qué conjuntos de cifrado son compatibles con Kafka?
- ¿Puedo cambiar una instancia del despliegue en la AZ única al despliegue en multi-AZ?
- ¿DMS for Kafka admite la recuperación ante desastres entre las AZ? ¿Dónde puedo ver las AZ configuradas para una instancia existente?
- ¿Las instancias de Kafka admiten la encriptación de disco?
- ¿Afecta la modificación de la especificación a los servicios?
- ¿Puedo cambiar la VPC y la subred después de crear una instancia de Kafka?
- ¿Dónde puedo encontrar los casos de uso de Kafka Streams?
- ¿Puedo actualizar instancias de Kafka?
- ¿Por qué la versión en la consola es diferente de la de Kafka Manager?
- ¿Cómo puedo vincular una EIP de nuevo?
-
Conexiones
- ¿Cómo selecciono y configuro un grupo de seguridad?
- ¿Puedo acceder a una instancia de Kafka por una red pública?
- ¿Cuántas direcciones de conexión tiene una instancia de Kafka de forma predeterminada?
- ¿Las instancias de Kafka admiten el acceso entre regiones?
- ¿Las instancias de Kafka admiten el acceso entre las VPC?
- ¿Las instancias de Kafka admiten el acceso entre subredes?
- ¿DMS for Kafka admite la autenticación con Kerberos?
- ¿DMS for Kafka admite el acceso sin contraseña?
- ¿Cómo obtengo la dirección de acceso público después de habilitar el acceso público?
- ¿DMS for Kafka admite la autenticación en los clientes por el servidor?
- ¿Puedo usar PEM SSL Truststore al conectarme a una instancia de Kafka con SASL_SSL habilitado?
- ¿Cuáles son las diferencias entre los certificados de JKS y de CRT?
- ¿Qué versión de TLS admite DMS for Kafka?
- ¿Hay un límite en el número de conexiones de cliente a una instancia de Kafka?
- ¿Cuántas conexiones se permiten desde cada dirección IP?
- ¿Puedo cambiar las direcciones de red privada de una instancia de Kafka?
- ¿Se utiliza el mismo certificado de SSL para las diferentes instancias?
-
Temas y particiones
- ¿Hay un límite en el número de temas en una instancia de Kafka?
- ¿Por qué está limitada la cantidad de partición?
- ¿Puedo cambiar la cantidad de particiones?
- ¿Por qué no puedo crear temas?
- ¿Las instancias de Kafka admiten la importación por lotes de temas o la creación automática de temas?
- ¿Por qué todavía existen los temas eliminados?
- ¿Puedo ver el espacio en disco utilizado por un tema?
- ¿Puedo agregar permisos de ACL para temas?
- ¿Qué debo hacer si se utiliza el espacio de almacenamiento de Kafka porque los mensajes recuperados no se eliminan?
- ¿Cómo puedo aumentar la cantidad de particiones?
- ¿Se reiniciará una instancia de Kafka después de que se modifique su configuración automática de creación de temas?
- ¿Cómo desactivo la creación automática de temas?
- ¿Puedo eliminar los temas innecesarios en un grupo de consumidores?
- ¿Qué puedo hacer si un consumidor no puede recuperar mensajes de un tema debido a permisos insuficientes?
- ¿Por qué una instancia contiene temas predeterminados __trace y __consumer_offsets?
- Grupos de consumidores
-
Mensajes
- ¿Cuál es el tamaño máximo de un mensaje que se puede crear?
- ¿Por qué la encuesta de mensaje siempre falla durante el reequilibrio?
- ¿Por qué no puedo consultar mensajes en la consola?
- ¿Qué puedo hacer si se acumulan los mensajes de Kafka?
- ¿Por qué todavía existen mensajes después de que transcurra el período de retención?
- ¿Las instancias de Kafka admiten la entrega retardada de mensajes?
- ¿Cómo puedo ver el número de mensajes acumulados?
- ¿Por qué se muestra el tiempo de creación del mensaje como el año 1970?
-
Kafka Manager
- ¿Puedo configurar una cuenta de Kafka Manager para que sea de solo lectura?
- ¿Por qué no puedo ver la información del broker después de iniciar sesión en Kafka Manager?
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- ¿Puedo consultar el cuerpo de un mensaje usando Kafka Manager?
- ¿Puedo cambiar el puerto de la interfaz de usuario de web de Kafka Manager?
- ¿Qué configuraciones de tema se pueden modificar en Kafka Manager?
- ¿Por qué la información mostrada en Kafka Manager es incompatible con los datos de monitoreo de Cloud Eye?
- ¿Cómo cambio un líder de partición para un tema en Kafka Manager?
- Monitoreo y Alarma
-
Instancias
- Actualmente, el contenido no está disponible en el idioma seleccionado. Sugerimos consultar la versión en inglés.
- What's New
- Function Overview
- Product Bulletin
- Billing
-
Best Practices
- Kafka Best Practices
- Improving Kafka Message Processing Efficiency
- Optimizing Consumer Polling
- Interconnecting Logstash to Kafka to Produce and Consume Messages
- Using MirrorMaker to Synchronize Data Across Clusters
- Handling Message Accumulation
- Handling Service Overload
- Handling Uneven Service Data
- Configuring Message Accumulation Monitoring
- Suggestions on Using DMS for Kafka Securely
- Developer Guide
- SDK Reference
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Flink 1.15 Consumption Progress Submission Failure
- Videos
-
More Documents
-
User Guide (ME-Abu Dhabi Region)
- Service Overview
- Getting Started
- Permissions Management
- Preparing Required Resources
- Buying an Instance
- Accessing a Kafka Instance
- Managing Instances
- Managing Topics
- Managing Messages
- Managing Users
- Managing Consumer Groups
- Managing Kafka Quotas
- Modifying Kafka Parameters
- Quotas
- Monitoring
- Auditing
-
FAQs
-
Instances
- Why Can't I Select Two AZs?
- Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
- How Do I Select Storage Space for a Kafka Instance?
- How Do I Choose Between High I/O and Ultra-high I/O?
- Which Capacity Threshold Policy Should I Use?
- Which Kafka Versions Are Supported?
- What Is the ZooKeeper Address of a Kafka Instance?
- Are Kafka Instances in Cluster Mode?
- Can I Modify the Port for Accessing a Kafka Instance?
- How Long Are Kafka SSL Certificates Valid for?
- How Do I Synchronize Data from One Kafka Instance to Another?
- How Do I Change the SASL_SSL Setting of a Kafka Instance?
- How Do I Modify the SASL Mechanism?
- Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
- Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
- Which Cipher Suites Are Supported by Kafka?
- Can I Change an Instance from Single-AZ Deployment to Multi-AZ Deployment?
- Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I View the AZs Configured for an Existing Instance?
- Do Kafka Instances Support Disk Encryption?
- Does Specification Modification Affect Services?
- Can I Change the VPC and Subnet After a Kafka Instance Is Created?
- Where Can I Find Kafka Streams Use Cases?
- Can I Upgrade Kafka Instances?
- Why Is the Version on the Console Different from That in Kafka Manager?
- How Do I Bind an EIP Again?
-
Connections
- How Do I Select and Configure a Security Group?
- Can I Access a Kafka Instance Over a Public Network?
- How Many Connection Addresses Does a Kafka Instance Have by Default?
- Do Kafka Instances Support Cross-Region Access?
- Do Kafka Instances Support Cross-VPC Access?
- Do Kafka Instances Support Cross-Subnet Access?
- Does DMS for Kafka Support Authentication with Kerberos?
- Does DMS for Kafka Support Password-Free Access?
- How Do I Obtain the Public Access Address After Public Access Is Enabled?
- Does DMS for Kafka Support Authentication on Clients by the Server?
- Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
- What Are the Differences Between JKS and CRT Certificates?
- Which TLS Version Does DMS for Kafka Support?
- Is There a Limit on the Number of Client Connections to a Kafka Instance?
- How Many Connections Are Allowed from Each IP Address?
- Can I Change the Private Network Addresses of a Kafka Instance?
- Is the Same SSL Certificate Used for Different Instances?
-
Topics and Partitions
- Is There a Limit on the Number of Topics in a Kafka Instance?
- Why Is Partition Quantity Limited?
- Can I Change the Partition Quantity?
- Why Do I Fail to Create Topics?
- Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
- Why Do Deleted Topics Still Exist?
- Can I View the Disk Space Used by a Topic?
- Can I Add ACL Permissions for Topics?
- What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
- How Do I Increase the Partition Quantity?
- Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
- How Do I Disable Automatic Topic Creation?
- Can I Delete Unnecessary Topics in a Consumer Group?
- What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
- Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
- Consumer Groups
-
Messages
- What Is the Maximum Size of a Message that Can be Created?
- Why Does Message Poll Often Fail During Rebalancing?
- Why Can't I Query Messages on the Console?
- What Can I Do If Kafka Messages Are Accumulated?
- Why Do Messages Still Exist After the Retention Period Elapses?
- Do Kafka Instances Support Delayed Message Delivery?
- How Do I View the Number of Accumulated Messages?
- Why Is the Message Creation Time Displayed as Year 1970?
-
Kafka Manager
- Can I Configure a Kafka Manager Account to Be Read-Only?
- Why Can't I See Broker Information After Logging In to Kafka Manager?
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- Can I Query the Body of a Message by Using Kafka Manager?
- Can I Change the Port of the Kafka Manager Web UI?
- Which Topic Configurations Can Be Modified on Kafka Manager?
- Why Is Information Displayed on Kafka Manager Inconsistent with Cloud Eye Monitoring Data?
- How Do I Change a Partition Leader for a Topic in Kafka Manager?
- Monitoring & Alarm
-
Instances
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Change History
- API Reference (ME-Abu Dhabi Region)
-
User Guide (Paris Region)
- Service Overview
- Getting Started
- Permissions Management
- Preparing Required Resources
- Creating an Instance
- Accessing a Kafka Instance
- Managing Instances
- Managing Topics
- Managing Messages
- Managing Users
- Managing Consumer Groups
- Managing Kafka Quotas
- Modifying Kafka Parameters
- Quotas
- Monitoring
- Auditing
-
FAQs
-
Instances
- Why Can't I Select Two AZs?
- Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
- How Do I Select Storage Space for a Kafka Instance?
- How Do I Choose Between High I/O and Ultra-high I/O?
- Which Capacity Threshold Policy Should I Use?
- Which Kafka Versions Are Supported?
- What Is the ZooKeeper Address of a Kafka Instance?
- Are Kafka Instances in Cluster Mode?
- Can I Modify the Port for Accessing a Kafka Instance?
- How Long Are Kafka SSL Certificates Valid for?
- How Do I Synchronize Data from One Kafka Instance to Another?
- How Do I Change the SASL_SSL Setting of a Kafka Instance?
- How Do I Modify the SASL Mechanism?
- Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
- Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
- Which Cipher Suites Are Supported by Kafka?
- Can I Change an Instance from Single-AZ Deployment to Multi-AZ Deployment?
- Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I View the AZs Configured for an Existing Instance?
- Do Kafka Instances Support Disk Encryption?
- Can I Change the VPC and Subnet After a Kafka Instance Is Created?
- Where Can I Find Kafka Streams Use Cases?
- Can I Upgrade Kafka Instances?
- Why Is the Version on the Console Different from That in Kafka Manager?
- How Do I Bind an EIP Again?
- Specification Modification
-
Connections
- How Do I Select and Configure a Security Group?
- Can I Access a Kafka Instance Over a Public Network?
- How Many Connection Addresses Does a Kafka Instance Have by Default?
- Do Kafka Instances Support Cross-Region Access?
- Do Kafka Instances Support Cross-VPC Access?
- Do Kafka Instances Support Cross-Subnet Access?
- Does DMS for Kafka Support Authentication with Kerberos?
- Does DMS for Kafka Support Password-Free Access?
- How Do I Obtain the Public Access Address After Public Access Is Enabled?
- Does DMS for Kafka Support Authentication on Clients by the Server?
- Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
- What Are the Differences Between JKS and CRT Certificates?
- Which TLS Version Does DMS for Kafka Support?
- Is There a Limit on the Number of Client Connections to a Kafka Instance?
- How Many Connections Are Allowed from Each IP Address?
- Can I Change the Private Network Addresses of a Kafka Instance?
- Is the Same SSL Certificate Used for Different Instances?
- Why Is It Not Recommended to Use a Sarama Client for Messaging?
-
Topics and Partitions
- Is There a Limit on the Number of Topics in a Kafka Instance?
- Why Is Partition Quantity Limited?
- Can I Reduce the Partition Quantity?
- Why Do I Fail to Create Topics?
- Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
- Why Do Deleted Topics Still Exist?
- Can I View the Disk Space Used by a Topic?
- Can I Add ACL Permissions for Topics?
- What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
- How Do I Increase the Partition Quantity?
- Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
- How Do I Disable Automatic Topic Creation?
- Can I Delete Unnecessary Topics in a Consumer Group?
- What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
- Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
- Consumer Groups
-
Messages
- What Is the Maximum Size of a Message that Can be Created?
- Why Does Message Poll Often Fail During Rebalancing?
- Why Can't I Query Messages on the Console?
- What Can I Do If Kafka Messages Are Accumulated?
- Why Do Messages Still Exist After the Retention Period Elapses?
- Do Kafka Instances Support Delayed Message Delivery?
- How Do I View the Number of Accumulated Messages?
- Why Is the Message Creation Time Displayed as Year 1970?
-
Kafka Manager
- Can I Configure a Kafka Manager Account to Be Read-Only?
- Why Can't I See Broker Information After Logging In to Kafka Manager?
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- Can I Query the Body of a Message by Using Kafka Manager?
- Can I Change the Port of the Kafka Manager Web UI?
- Which Topic Configurations Can Be Modified on Kafka Manager?
- How Do I Change a Partition Leader for a Topic in Kafka Manager?
- Monitoring & Alarm
-
Instances
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Change History
-
API Reference (Paris Region)
- Before You Start
- API Overview
- Calling APIs
- Getting Started
-
APIs V2 (Recommended)
- Lifecycle Management
-
Instance Management
- Resetting the Password
- Resetting Kafka Manager Password
- Configuring Automatic Topic Creation
- Modifying the Private IP Address for Cross-VPC Access
- Querying Kafka Cluster Metadata
- Querying Consumer Group Details
- Resetting Consumer Group Offset to the Specified Position
- Querying Coordinator Details of a Kafka Instance
- Adding Partitions to a Topic for a Kafka Instance
- Reassigning Replicas of a Topic for a Kafka Instance
- Querying the Disk Usage Status of Topics
- Querying All Consumer Groups
- Querying a Specific Consumer Group
- Deleting a Consumer Group from a Kafka Instance
- Batch Deleting Consumer Groups of a Kafka Instance
- Initiating Partition Reassigning for a Kafka Instance
- Specification Modification Management
- Topic Management
- User Management
- Message Query
- Background Task Management
- Tag Management
- Other APIs
- Permissions and Supported Actions
- Out-of-Date APIs
- Appendix
- Change History
- Developer Guide (Paris Region)
-
User Guide (Kuala Lumpur Region)
- Service Overview
- Getting Started
- Process of Using Kafka
- Permissions Management
- Buying a Kafka Instance
- Configuring Topics
- Connecting to an Instance
- Managing Messages
- Managing Consumer Groups
- Managing Quotas
-
Managing Instances
- Viewing and Modifying Basic Information of a Kafka Instance
- Viewing Kafka Disk Usage
- Viewing Kafka Background Tasks
- Viewing Sample Code of Kafka Production and Consumption
- Modifying Kafka Instance Configuration Parameters
- Configuring Kafka Instance Tags
- Exporting the Kafka Instance List
- Restarting a Kafka Instance
- Deleting Kafka Instances
- Using Kafka Manager
- Modifying Kafka Instance Specifications
- Migrating Data
- Applying for Increasing Kafka Quotas
- Monitoring and Alarms
- Viewing Kafka Audit Logs
-
FAQs
-
Instances
- Why Can't I Select Two AZs?
- Why Can't I View the Subnet and Security Group Information When Creating a DMS Instance?
- How Do I Select Storage Space for a Kafka Instance?
- How Do I Choose Between High I/O and Ultra-high I/O?
- Which Capacity Threshold Policy Should I Use?
- Which Kafka Versions Are Supported?
- What Is the ZooKeeper Address of a Kafka Instance?
- Are Kafka Instances in Cluster Mode?
- Can I Modify the Port for Accessing a Kafka Instance?
- How Long Are Kafka SSL Certificates Valid for?
- How Do I Synchronize Data from One Kafka Instance to Another?
- How Do I Change the SASL_SSL Setting of a Kafka Instance?
- How Do I Modify the SASL Mechanism?
- Will a Kafka Instance Be Restarted After Its Enterprise Project Is Modified?
- Are Kafka Brokers and ZooKeeper Deployed on the Same VM or on Different VMs?
- Which Cipher Suites Are Supported by Kafka?
- Can I Change an Instance from Single-AZ Deployment to Multi-AZ Deployment?
- Does DMS for Kafka Support Cross-AZ Disaster Recovery? Where Can I View the AZs Configured for an Existing Instance?
- Do Kafka Instances Support Disk Encryption?
- Can I Change the VPC and Subnet After a Kafka Instance Is Created?
- Where Can I Find Kafka Streams Use Cases?
- Can I Upgrade Kafka Instances?
- Why Is the Version on the Console Different from That in Kafka Manager?
- Specification Modification
-
Connections
- How Do I Select and Configure a Security Group?
- Can I Access a Kafka Instance Over a Public Network?
- How Many Connection Addresses Does a Kafka Instance Have by Default?
- Do Kafka Instances Support Cross-Region Access?
- Do Kafka Instances Support Cross-VPC Access?
- Do Kafka Instances Support Cross-Subnet Access?
- Does DMS for Kafka Support Authentication with Kerberos?
- Does DMS for Kafka Support Password-Free Access?
- Does DMS for Kafka Support Authentication on Clients by the Server?
- Can I Use PEM SSL Truststore When Connecting to a Kafka Instance with SASL_SSL Enabled?
- What Are the Differences Between JKS and CRT Certificates?
- Which TLS Version Does DMS for Kafka Support?
- Is There a Limit on the Number of Client Connections to a Kafka Instance?
- How Many Connections Are Allowed from Each IP Address?
- Can I Change the Private Network Addresses of a Kafka Instance?
- Is the Same SSL Certificate Used for Different Instances?
- Why Is It Not Recommended to Use a Sarama Client for Messaging?
-
Topics and Partitions
- Is There a Limit on the Number of Topics in a Kafka Instance?
- Why Is Partition Quantity Limited?
- Can I Reduce the Partition Quantity?
- Why Do I Fail to Create Topics?
- Do Kafka Instances Support Batch Importing Topics or Automatic Topic Creation?
- Why Do Deleted Topics Still Exist?
- Can I View the Disk Space Used by a Topic?
- Can I Add ACL Permissions for Topics?
- What Should I Do If Kafka Storage Space Is Used Up Because Retrieved Messages Are Not Deleted?
- How Do I Increase the Partition Quantity?
- Will a Kafka Instance Be Restarted After Its Automatic Topic Creation Setting Is Modified?
- Can I Delete Unnecessary Topics in a Consumer Group?
- What Can I Do If a Consumer Fails to Retrieve Messages from a Topic Due to Insufficient Permissions?
- Why Does an Instance Contain Default Topics __trace and __consumer_offsets?
- Consumer Groups
-
Messages
- What Is the Maximum Size of a Message that Can be Created?
- Why Does Message Poll Often Fail During Rebalancing?
- Why Can't I Query Messages on the Console?
- What Can I Do If Kafka Messages Are Accumulated?
- Why Do Messages Still Exist After the Retention Period Elapses?
- Do Kafka Instances Support Delayed Message Delivery?
- How Do I View the Number of Accumulated Messages?
- Why Is the Message Creation Time Displayed as Year 1970?
-
Kafka Manager
- Can I Configure a Kafka Manager Account to Be Read-Only?
- Why Can't I See Broker Information After Logging In to Kafka Manager?
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- Can I Query the Body of a Message by Using Kafka Manager?
- Can I Change the Port of the Kafka Manager Web UI?
- Which Topic Configurations Can Be Modified on Kafka Manager?
- Why Is Information Displayed on Kafka Manager Inconsistent with Cloud Eye Monitoring Data?
- How Do I Change a Partition Leader for a Topic in Kafka Manager?
- Monitoring & Alarm
-
Instances
-
Troubleshooting
- Troubleshooting Kafka Connection Exceptions
- Troubleshooting 6-Min Latency Between Message Creation and Retrieval
- Troubleshooting Message Creation Failures
- Troubleshooting Topic Deletion Failures
- Troubleshooting Failure to Log In to Kafka Manager in Windows
- Troubleshooting Error "Topic {{topic_name}} not present in metadata after 60000 ms" During Message Production or Consumption
- Change History
- API Reference (Kuala Lumpur Region)
-
User Guide (ME-Abu Dhabi Region)
Mostrar todo
Copiado.
Compra de una instancia
Escenario
DMS for Kafka proporciona las instancias de Kafka, que están físicamente aisladas y ocupadas exclusivamente por cada inquilino. Puede personalizar las capacidades informáticas y el espacio de almacenamiento de una instancia en función de los requisitos de servicio.
Antes de comenzar
- Antes de comprar una instancia de Kafka, asegúrese de que una VPC configurada con grupos de seguridad y subredes esté disponible.
- La cantidad del corredor varía según los recursos subyacentes, y los recursos subyacentes varían de una región a otra. Por lo tanto, diferentes instancias tienen diferentes cantidades de corredor.
Procedimiento
- Inicie sesión en la consola de gestión.
- Haga clic en
en la esquina superior izquierda para seleccionar la región.
Seleccione la misma región que su servicio de aplicación.
- Haga clic en
y elija Application > Distributed Message Service (for Kafka) para abrir la consola de DMS for Kafka.
- Haga clic en Buy Instance en la esquina superior derecha de la página.
De forma predeterminada, puede crear un máximo de 100 instancias de Kafka para cada proyecto. Para crear más instancias, póngase en contacto con customer service para aumentar su cuota.
- Especifique Billing Mode, Region, Project y AZ.
- Introduzca un nombre de instancia y seleccione un proyecto de empresa.
- Configure los siguientes parámetros de instancia:
- Version: Actualmente, Kafka v1.1.0, v2.3.0, and v2.7 son compatibles. Se recomienda v2.3.0. v2.7 está disponible solo en las regiones CN East-Shanghai1, CN South-Guangzhou, y CN-Hong Kong.
- CPU Architecture: Actualmente, solo se admite la arquitectura x86.
- Actualmente, hay dos tipos de normas de instancia dependiendo de la región.
- En regiones distintas de CN East-Shanghai1, CN North-Beijing4, CN South-Guangzhou, AP-Singapore, LA-Mexico City2, LA-Santiago, y AF-Johannesburg, seleccionan un ancho de banda basado en el tráfico de servicio.
Puede ver la cantidad y la norma de ECS, el número máximo de particiones permitidas y el número de grupos de consumidores recomendados para cada opción de ancho de banda.
El parámetro Maximum Partitions indica el número máximo de particiones que se pueden crear para una instancia de Kafka. Si la cantidad total de particiones de todos los temas excede este umbral, la creación de temas fallará.
- En las regiones CN East-Shanghai1, CN North-Beijing4, CN South-Guangzhou, AP-Singapore, LA-Mexico City2, LA-Santiago y AF-Johannesburg, seleccionan una norma de corredor basado en los requisitos de servicio. Para Brokers, especifique la cantidad de corredor.
Número máximo de particiones por corredores x Número de corredores = Número máximo de particiones de una instancia. Si el número total de particiones de todos los temas excede el número máximo de particiones permitidas para una instancia, la creación del tema fallará.
- En regiones distintas de CN East-Shanghai1, CN North-Beijing4, CN South-Guangzhou, AP-Singapore, LA-Mexico City2, LA-Santiago, y AF-Johannesburg, seleccionan un ancho de banda basado en el tráfico de servicio.
- Storage Space: espacio total en disco para almacenar los datos de instancia.
El espacio de almacenamiento es el espacio total que consumen todas las réplicas. Especifique el espacio de almacenamiento en función del tamaño esperado del mensaje de servicio y el número de réplicas. Por ejemplo, si el tamaño de disco necesario para almacenar los datos durante el período de retención es de 100 GB, la capacidad del disco debe ser como mínimo: 100 GB x Número de réplicas + 100 GB (reservado).
Los discos se formatean cuando se crea una instancia. Como resultado, el espacio disponible real en disco es del 93% al 95% del espacio total en disco.
- Ancho de banda de 100 MB/s: el rango de valor del Storage Space es de 600–90,000 GB.
- Ancho de banda de 300 MB/s: el rango de valor del Storage Space es de 1200–90,000 GB.
- Ancho de banda de 600 MB/s: el rango de valor del Storage Space es de 2400–90,000 GB.
- Ancho de banda de 1200 MB/s: el rango de valor del Storage Space es de 4800–90,000 GB.
- E/S alta + ancho de banda de 100 MB/s: Si el tamaño promedio del mensaje es de 1 KB, las transacciones por segundo (TPS) pueden alcanzar 100,000 en escenarios de alto rendimiento y 60,000 en escenarios de replicación síncrona.
- E/S alta + ancho de banda de 300 MB/s: Si el tamaño promedio del mensaje es de 1 KB, el TPS puede alcanzar 300,000 en escenarios de alto rendimiento y 150,000 en escenarios de replicación síncrona.
- E/S ultra alta + ancho de banda de 100 MB/s: Si el tamaño promedio del mensaje es de 1 KB, el TPS puede alcanzar 100,000 en escenarios de alto rendimiento y 80,000 en los escenarios de replicación síncrona.
- E/S ultra alta + ancho de banda de 300 MB/s: Si el tamaño promedio del mensaje es de 1 KB, el TPS puede alcanzar 300,000 en escenarios de alto rendimiento y 200,000 en los escenarios de replicación síncrona.
- E/S ultra alta + ancho de banda de 600 MB/s: Si el tamaño promedio del mensaje es de 1 KB, el TPS puede alcanzar 600,000 en escenarios de alto rendimiento y 300,000 en los escenarios de replicación síncrona.
- E/S ultra alta + ancho de banda de 1200 MB/s: Si el tamaño promedio del mensaje es de 1 KB, el TPS puede alcanzar 1,200,000 en escenarios de alto rendimiento y 400,000 en los escenarios de replicación síncrona.
- Capacity Threshold Policy: política utilizada cuando el uso del disco alcanza el umbral. El umbral de capacidad predeterminado es 95%.
- Automatically delete: Los mensajes se pueden crear y recuperar, pero el 10% de los mensajes más antiguos se eliminarán para garantizar suficiente espacio en disco. Esta política es adecuada para los escenarios en los que no se puede tolerar ninguna interrupción del servicio. Los datos pueden perderse.
- Stop production: no se pueden crear nuevos mensajes, pero los mensajes existentes aún se pueden recuperar. Esta política es adecuada para escenarios en los que no se puede tolerar ninguna pérdida de datos.
- Seleccione una VPC y una subred.
Una VPC proporciona una red virtual aislada para sus instancias de Kafka. Puede configurar y gestionar la red según sea necesario.
Después de crear la instancia de Kafka, su VPC y subred no se pueden cambiar.
- Seleccione un grupo de seguridad.
Un grupo de seguridad es un conjunto de reglas que controlan el acceso a Elastic Cloud Servers (ECSs). Proporciona políticas de acceso para ECSs de confianza mutua con los mismos requisitos de protección de seguridad en la misma VPC.
Puede hacer clic en Manage Security Group para ver o crear grupos de seguridad en la consola de red.
Figura 1 Comprar una instancia de Kafka - Configure el nombre de usuario y la contraseña para iniciar sesión en Kafka Manager.Kafka Manager es una herramienta de código abierto para la gestión de clústeres de Kafka. Después de crear una instancia de Kafka, puede ir a la página de detalles de la instancia para obtener la dirección para iniciar sesión en Kafka Manager. En Kafka Manager, puede ver las estadísticas de monitoreo y la información del corredor de sus clústeres de Kafka.
- Haga clic en Advanced Settings para configurar más parámetros.
- Configurar el acceso público.
El acceso público está deshabilitado de forma predeterminada. Puede activarlo o desactivarlo según sea necesario.You can create three Kafka instances with public access enabled. To create more instances with public access, contact the administrator to increase your quota.
Una vez habilitado el acceso público, configure un IPv4 EIP para cada corredor.
Se admite el acceso público en las siguientes regiones: CN North-Beijing4, CN East-Shanghai1, CN South-Guangzhou, CN-Hong Kong, AP-Bangkok y AP-Singapore.
- Configurar Dumping.
Después de habilitar dumping, los datos serán volcados a los bucket de OBS para realizar copias de seguridad.
- Si un mensaje contiene un atributo clave-valor, la clave no se puede volcar, mientras que el valor sí.
- No se puede deshabilitar el dumping una vez que se ha habilitado.
- Dumping solo se admite en la región CN-Hong Kong.
- Configurar Kafka SASL_SSL.
Este parámetro indica si se debe habilitar la autenticación SSL cuando un cliente se conecta a la instancia. Si habilita Kafka SASL_SSL, los datos se cifrarán antes de la transmisión para mejorar la seguridad.
Esta configuración no se puede cambiar después de crear la instancia. Si desea utilizar una configuración SASL_SSL diferente después de crear la instancia, debe crear una nueva instancia.
Si habilita Kafka SASL_SSL, también debe establecer el nombre de usuario y la contraseña para acceder a la instancia.
- Configurar Automatic Topic Creation.
Si está habilitado, se creará automáticamente un tema con 3 particiones y 3 réplicas cuando se crea o se recupera un mensaje de un tema que no existe.
- Especificar Tags.
Las etiquetas se utilizan para identificar los recursos de la nube. Cuando tiene muchos recursos de nube del mismo tipo, puede usar etiquetas para clasificarlos por dimensión (por ejemplo, uso, propietario o entorno).
- Si tiene etiquetas predefinidas, seleccione un par predefinido de clave y valor de etiqueta. Haga clic en View predefined tags. En la consola del Tag Management Service (TMS), vea etiquetas predefinidas o cree etiquetas.
- También puede crear nuevas etiquetas especificando Tag key y Tag value.
Se pueden añadir hasta 20 etiquetas a cada instancia de Kafka. Para obtener más información sobre los requisitos de las etiquetas, consulte Gestión de etiquetas de instancia.
Algunas regiones no admiten etiquetas. Para obtener más información, consulte la información que se muestra en la consola.
- Introduzca una descripción de la instancia.
- Configurar el acceso público.
- Haga clic en Buy.
- Confirme la información de la instancia, lea y acepte el Acuerdo de cliente de Huawei Cloud, y haga clic en Submit.
- Vuelva a la lista de instancias y compruebe si se ha creado la instancia de Kafka.Se tarda de 3 a 15 minutos en crear una instancia. Durante este período, el estado de la instancia es Creating.
- Si la instancia se crea correctamente, su estado cambia a Running.
- Si no se puede crear la instancia, consulte Instance Creation Failures. Elimine la instancia haciendo referencia a Eliminación de una instancia y cree otra instancia. Si la creación de la instancia falla de nuevo, póngase en contacto con el servicio de cliente.
Las instancias que no se crean no ocupan otros recursos.