Criação de uma tarefa de Smart Connect (Kafka)
Cenário
Criar uma tarefa de Smart Connect para copiar dados unidirecional ou bidirecionalmente entre duas instâncias do Kafka.
- A cópia de dados do Kafka não está disponível para instâncias criadas antes de 1º de julho de 2022.
Restrições
- Um máximo de 18 tarefas de Smart Connect podem ser criadas para uma instância.
- Quando você copia dados do Kafka, as duas instâncias do Kafka devem ser conectadas por meio da intranet. Se eles estiverem em VPCs diferentes, conecte a rede referindo-se a Acesso entre VPCs a uma instância do Kafka.
- Depois que uma tarefa de Smart Connect é criada, os parâmetros da tarefa não podem ser modificados.
Pré-requisitos
- Você ativou a Smart Connect.
- Uma instância de Kafka foi criada e está no estado Running.
- Um tópico foi criado.
Procedimento
- Faça logon no console de gerenciamento.
- Clique em
no canto superior esquerdo para selecionar uma região.
Selecione a região onde sua instância do Kafka está localizada.
- Clique em
e escolha Middleware > Distributed Message Service for Kafka para abrir o console do DMS for Kafka. - Clique na instância de Kafka desejada para visualizar seus detalhes.
- No painel de navegação, escolha Smart Connect.
- Na página exibida, clique em Create Task.
- Em Task Name, insira um nome de tarefa exclusivo de Smart Connect.
- Para Task Type, selecione Copy Kafka data.
- Na área Current kafka, defina o alias da ocorrência.
O alias de instância é usado nos seguintes cenários:
- Se você ativar Rename Topics, o alias da instância de origem será adicionado aos nomes de tópico da instância de destino. Por exemplo, se o alias da instância de origem for A e o nome do tópico de destino for test, o tópico de destino renomeado será A.test.
- Depois que a tarefa de Smart Connect é criada, um tópico chamado mm2-offset-syncs.Target instance alias.internal é criado automaticamente. Se Sync Consumer Offset estiver ativado para a tarefa, um tópico chamado Target instance alias.checkpoints.internal será criado automaticamente. Os dois tópicos são usados para armazenar dados internos. Se eles forem excluídos, a replicação de dados falhará.
- Na área Peer Kafka, configure os seguintes parâmetros.
Tabela 1 Parâmetros de Peer Kafka Parâmetro
Descrição
Instance Alias
Defina o alias da instância.
O alias de instância é usado nos seguintes cenários:
- Se você ativar Rename Topics, o alias da instância de origem será adicionado aos nomes de tópico da instância de destino. Por exemplo, se o alias da instância de origem for A e o nome do tópico de destino for test, o tópico de destino renomeado será A.test.
- Depois que a tarefa de Smart Connect é criada, um tópico chamado mm2-offset-syncs.Target instance alias.internal é criado automaticamente. Se Sync Consumer Offset estiver ativado para a tarefa, um tópico chamado Target instance alias.checkpoints.internal será criado automaticamente. Os dois tópicos são usados para armazenar dados internos. Se eles forem excluídos, a replicação de dados falhará.
Config Type
Opções:
- Kafka address: insira os endereços das instâncias do Kafka.
- Instance name: selecione uma instância existente do Kafka.
Instance Name
Defina este parâmetro quando Config Type estiver definido como Instance name.
Selecione uma instância de Kafka existente na lista suspensa.
A instância do Kafka de par e a instância atual do Kafka devem estar na mesma VPC. Caso contrário, não podem ser identificados.
Kafka Address
Defina este parâmetro quando Config Type estiver definido como Kafka address.
Insira os endereços IP e números de porta para conexão com a instância do Kafka.
Quando você copia dados do Kafka, as duas instâncias do Kafka devem ser conectadas por meio da intranet. Se eles estiverem em VPCs diferentes, conecte a rede referindo-se a Acesso entre VPCs a uma instância do Kafka.
Authentication
Existem dois modos de autenticação:
- SASL_SSL: indica que SASL_SSL foi ativada para a instância.
- PLAINTEXT: indica que SASL_SSL não está ativada para a instância.
Authentication Mechanism
Defina este parâmetro quando Authentication estiver definida como SASL_SSL.
Selecione um mecanismo para autenticação SASL.
Username
Defina este parâmetro quando Authentication estiver definida como SASL_SSL.
Digite o nome de usuário que você definiu ao ativar SASL_SSL durante a criação da instância do Kafka ou ao criar um usuário de SASL_SSL.
Password
Defina este parâmetro quando Authentication estiver definida como SASL_SSL.
Digite a senha que você definiu ao ativar SASL_SSL durante a criação da instância do Kafka ou ao criar um usuário de SASL_SSL.
- Na área Rules, configure os seguintes parâmetros.
Tabela 2 Parâmetros para configurar regras de replicação de dados Parâmetro
Descrição
Sync Direction
Existem três direções de sincronização:
- Pull: replica dados da instância de Kafka de par para a instância de Kafka atual.
- Push: replica dados da instância atual do Kafka para a instância do Kafka correspondente.
- Both: replicação bidirecional de dados de instância do Kafka em ambas as extremidades.
Topics
Especifique os tópicos cujos dados serão replicados.
- Regular expression: use uma expressão regular para corresponder aos tópicos.
- Enter/Select: insira os nomes dos tópicos. Para inserir vários nomes de tópicos, pressione Enter depois de inserir cada nome de tópico. Você também pode selecionar tópicos na lista suspensa.
NOTA:Os dados de tópicos cujos nomes terminam com "internal" (por exemplo, topic.internal) não serão sincronizados.
Tasks
Número de tarefas de replicação de dados. O valor padrão é 2. É aconselhável usar o valor padrão.
Se Sync Direction estiver definida como Both, o número real de tarefas será o dobro do número de tarefas configuradas aqui.
Rename Topics
Adicione o alias da instância do Kafka de origem antes do nome do tópico de destino para formar um novo nome do tópico de destino. Por exemplo, se o alias da instância de origem for A e o nome do tópico de destino for test, o tópico de destino renomeado será A.test.
Se você selecionar Both para Sync Direction, ative Rename Topics para evitar replicação infinita.
Add Source Header
O tópico de destino recebe as mensagens replicadas. O cabeçalho da mensagem contém a origem da mensagem.
Se você selecionar Both para Sync Direction, Add Source Header será ativado por padrão para impedir a replicação infinita.
Sync Consumer Offset
Ative essa opção para sincronizar o deslocamento do consumidor com a instância do Kafka de destino.
AVISO:Depois de ativar Sync Consumer Offset, preste atenção ao seguinte:
- As instâncias do Kafka de origem e de destino não podem consumir mensagens ao mesmo tempo. Caso contrário, o deslocamento sincronizado do consumidor será anormal.
- O deslocamento do consumidor é sincronizado a cada minuto. Como resultado, o deslocamento do consumidor na extremidade de destino pode ser ligeiramente menor do que na extremidade de origem, e algumas mensagens são consumidas repetidamente. A lógica de serviço do cliente consumidor deve ser capaz de lidar com o consumo repetido.
- O deslocamento sincronizado a partir da extremidade de origem não é o mesmo que o deslocamento na extremidade de destino. Em vez disso, há uma relação de mapeamento. Se a compensação do consumidor for mantida pelo cliente consumidor, o cliente consumidor não obterá a compensação do consumidor da instância do Kafka de destino depois de alternar o consumo da instância do Kafka de origem para a instância do Kafka de destino. Como resultado, o deslocamento pode estar incorreto ou o deslocamento do consumidor pode ser redefinido.
Replicas
Número de réplicas de tópico quando um tópico é criado automaticamente na instância de par. O valor deste parâmetro não pode exceder o número de brokers na instância de par.
Este parâmetro tem precedência sobre o parâmetro default.replication.factor definido na instância de par.
Start Offset
Opções:
- Minimum offset: despejando os primeiros dados
- Maximum offset: despejando os dados mais recentes
Compression
Algoritmo de compressão a ser usado para copiar mensagens.
Topic Mapping
Personalize o nome do tópico de destino.
Máximo de mapeamentos: 20. Rename Topic e Topic Mapping não podem ser configurados ao mesmo tempo.
- Ao criar uma tarefa de replicação bidirecional, você deve ativar Rename Topics ou Add Source Header de origem para impedir a replicação infinita. Se você especificar o mesmo tópico para uma tarefa de pull e uma tarefa de push entre duas instâncias (formando replicação bidirecional), e Rename Topics e Add Source Header não estiverem ativados para as duas tarefas, os dados serão replicados infinitamente.
- Se você criar duas ou mais tarefas com a mesma configuração e ativar Sync Consumer Offset para elas, os dados serão replicados repetidamente e o deslocamento do consumidor do tópico de destino será anormal.
Figura 1 Configurar regras de replicação de dados
- (Opcional) No canto inferior direito da página, clique em Check para testar a conectividade entre as instâncias do Kafka.
Se "Connectivity check passed." for exibida, as instâncias do Kafka serão conectadas.
- Clique em Create. A página da lista de tarefas de Smart Connect é exibida. A mensagem "Task xxx was created successfully." é exibida no canto superior direito da página.
Depois que a tarefa de Smart Connect é criada, um tópico chamado mm2-offset-syncs.Target instance alias.internal é criado automaticamente. Se Sync Consumer Offset estiver ativado para a tarefa, um tópico chamado Target instance alias.checkpoints.internal será criado automaticamente. Os dois tópicos são usados para armazenar dados internos. Se eles forem excluídos, a replicação de dados falhará.
