Criação de uma tarefa de Smart Connect (personalizada)

Cenário

Crie uma tarefa de Smart Connect para personalizar a sincronização de dados entre o DMS for Kafka e outros serviços em nuvem.

Opções de sincronização disponíveis para tarefas personalizadas de Smart Connect:

• Do Redis ao OBS: copie dados do Redis de origem para um tópico do Kafka e, em seguida, para o OBS.
• Do Redis ao Kafka: copie dados do Redis de origem para um tópico do Kafka.
• De Kafka ao Redis: copie dados do Kafka de origem para uma instância do Redis.

• As tarefas personalizadas de Smart Connect não estão disponíveis para instâncias criadas antes de 1º de julho de 2022.

Restrições

• Um máximo de 18 tarefas de Smart Connect podem ser criadas para uma instância.
• A origem, o destino e o Kafka devem ser conectados por meio da intranet. Se eles estiverem em VPCs diferentes, conecte a rede.
• A cópia de dados está disponível apenas para instâncias do Redis posteriores ao Redis 3.0.
• Depois que uma tarefa de Smart Connect é criada, os parâmetros da tarefa não podem ser modificados.

Pré-requisitos

• Você ativou a Smart Connect.
• Uma instância de Kafka foi criada e está no estado Running.
• Um tópico foi criado.

Criar uma tarefa de Smart Connect para despejar dados do Redis no OBS

1. Faça logon no console de gerenciamento.
2. Clique em no canto superior esquerdo para selecionar uma região.
   

   Selecione a região onde sua instância do Kafka está localizada.

3. Clique em e escolha Middleware > Distributed Message Service for Kafka para abrir o console do DMS for Kafka.
4. Clique na instância de Kafka desejada para visualizar seus detalhes.
5. No painel de navegação, escolha Smart Connect.
6. Na página exibida, clique em Create Task.
7. Em Task Name, insira um nome de tarefa exclusivo de Smart Connect.
8. Para Task Type, selecione Custom.
9. Na área Source, selecione Redis e defina os parâmetros com base na tabela a seguir.

   Tabela 1 Parâmetros de Source

   Parâmetro	Descrição
   Configure	Opções: By instance: selecione uma instância de Redis (recomendado) Manually: especifique manualmente as informações do Redis. Instâncias de cluster de proxy não podem ser especificadas manualmente. Se o Redis de origem for uma instância de DCS, entre em contato com o suporte técnico para habilitar o comando PSYNC.
   Redis Instance	Defina este parâmetro quando Configure estiver definido como By instance. Selecione uma instância do Redis existente na lista suspensa.
   Architecture	Defina este parâmetro quando Configure estiver definido como Manually. Opções: Single-node: selecione esta opção se o Redis de origem for do tipo primário/em espera ou nó único. Cluster: selecione esta opção se o Redis de origem for do tipo de cluster do Redis.
   Connection Address/Port	Defina este parâmetro quando Configure estiver definido como Manually. Digite o endereço IP e o número da porta para conexão com a instância do Redis.
   Password	Digite a senha, se houver, da instância do Redis.

   

   • A instância do Redis deve ser posterior ao Redis 3.0.
   • O Redis de origem não pode ser uma instância de separação de leitura/gravação.
   • Kafka e Redis só podem ser conectados através da intranet. Se eles estiverem em VPCs diferentes, conecte a rede.

10. Clique em Check para testar a conectividade do Redis de origem.
    • Se Configure estiver definido como By instance, execute as seguintes etapas:
      1. Na caixa de diálogo Test results exibida, ative psync (e vpcep, se aplicável) e clique em Confirm.

         Ative psync na caixa de diálogo Test results para uma instância de cluster não proxy.

         Figura 1 Instância do Redis de cluster não proxy
         

         Ative psync e vpcep na caixa de diálogo Test results para uma instância de cluster de proxy.

         Figura 2 Instância de DCS de cluster de proxy
         
      2. Clique em Check novamente. Se "Connectivity test passed." for exibido, o Redis de origem pode ser conectado ao Kafka.
    • Se Configure estiver definido como Manually, o Redis de origem poderá ser conectado ao Kafka quando "Connectivity test passed." for exibido.
    Figura 3 Connectivity check passed
    

11. Na área Topics, selecione um tópico. Os dados de origem do Redis serão copiados para este tópico.
12. Na área Target, selecione OBS e defina parâmetros com base na tabela a seguir.

    Tabela 2 Parâmetros de Target

    Parâmetro	Descrição
    Offset	Opções: Minimum offset: despejando os primeiros dados Maximum offset: despejando os dados mais recentes
    Dumping Period (s)	Intervalo para dados de despejo periódico. A unidade de tempo é segundo e o valor padrão é 300 segundos. Nenhum arquivo de pacote será gerado se não houver dados dentro de um intervalo.
    AK	ID da chave de acesso. Para obter detalhes sobre como obter o AK, consulte Chaves de acceso.
    SK	Chave de acesso secreta usada junto com o ID da chave de acesso. Para obter detalhes sobre como obter a SK, consulte Chaves de acceso.
    Dumping Address	O bucket do OBS usado para armazenar os dados do tópico. Você pode selecionar um bucket do OBS existente na lista suspensa ou clicar em Create Dumping Address para criar um novo bucket do OBS.
    Dumping Directory	Diretório para armazenar arquivos de tópico despejados no OBS. Use barras (/) para separar os níveis de diretório.
    Time Directory Format	Os dados são salvos em um diretório de tempo hierárquico no diretório de despejo. Por exemplo, se o diretório de hora for preciso para o dia, o diretório estará no formato de bucket name/file directory/year/month/day.
    Record Separator	Selecione um separador para separar os registros de despejo do OBS.
    Use Storage Key	Especifica se as chaves devem ser despejadas.

    

    Não use a chave de uma mensagem como o nome do arquivo de despejo.

13. Clique em Create. A página da lista de tarefas de Smart Connect é exibida. A mensagem "Task xxx was created successfully." é exibida no canto superior direito da página.

Criar uma tarefa de Smart Connect para copiar dados do Redis para o Kafka

1. Faça logon no console de gerenciamento.
2. Clique em no canto superior esquerdo para selecionar uma região.
   

   Selecione a região onde sua instância do Kafka está localizada.

3. Clique em e escolha Middleware > Distributed Message Service for Kafka para abrir o console do DMS for Kafka.
4. Clique na instância de Kafka desejada para visualizar seus detalhes.
5. No painel de navegação, escolha Smart Connect.
6. Na página exibida, clique em Create Task.
7. Em Task Name, insira um nome de tarefa exclusivo de Smart Connect.
8. Para Task Type, selecione Custom.
9. Na área Source, selecione Redis e defina parâmetros com base na tabela a seguir.

   Tabela 3 Parâmetros de Source

   Parâmetro	Descrição
   Configure	Opções: By instance: selecione uma instância de Redis (recomendado) Manually: especifique manualmente as informações do Redis. Instâncias de cluster de proxy não podem ser especificadas manualmente. Se o Redis de origem for uma instância de DCS, entre em contato com o suporte técnico para habilitar o comando PSYNC.
   Redis Instance	Defina este parâmetro quando Configure estiver definido como By instance. Selecione uma instância do Redis existente na lista suspensa.
   Architecture	Defina este parâmetro quando Configure estiver definido como Manually. Opções: Single-node: selecione esta opção se o Redis de origem for do tipo primário/em espera ou nó único. Cluster: selecione esta opção se o Redis de origem for do tipo de cluster do Redis.
   Connection Address/Port	Defina este parâmetro quando Configure estiver definido como Manually. Digite o endereço IP e o número da porta para conexão com a instância do Redis.
   Password	Digite a senha, se houver, da instância do Redis.

   

   • A instância do Redis deve ser posterior ao Redis 3.0.
   • O Redis de origem não pode ser uma instância de separação de leitura/gravação.
   • Kafka e Redis só podem ser conectados através da intranet. Se eles estiverem em VPCs diferentes, conecte a rede.

10. Clique em Check para testar a conectividade do Redis de origem.
    • Se Configure estiver definido como By instance, execute as seguintes etapas:
      1. Na caixa de diálogo Test results exibida, ative psync (e vpcep, se aplicável) e clique em Confirm.

         Ative psync na caixa de diálogo Test results para uma instância de cluster não proxy.

         Figura 4 Instância do Redis de cluster não proxy
         

         Ative psync e vpcep na caixa de diálogo Test results para uma instância de cluster de proxy.

         Figura 5 Instância de DCS de cluster de proxy
         
      2. Clique em Check novamente. Se "Connectivity test passed." for exibido, o Redis de origem pode ser conectado ao Kafka.
    • Se Configure estiver definido como Manually, o Redis de origem poderá ser conectado ao Kafka quando "Connectivity test passed." for exibido.
    Figura 6 Connectivity check passed
    

11. Na área Topics, selecione um tópico. Os dados de origem do Redis serão copiados para este tópico.
12. Na área Target, selecione Do not specify.
13. Clique em Create. A página da lista de tarefas de Smart Connect é exibida. A mensagem "Task xxx was created successfully." é exibida no canto superior direito da página.

Criar uma tarefa de Smart Connect para copiar dados do Kafka para o Redis

1. Faça logon no console de gerenciamento.
2. Clique em no canto superior esquerdo para selecionar uma região.
   

   Selecione a região onde sua instância do Kafka está localizada.

3. Clique em e escolha Middleware > Distributed Message Service for Kafka para abrir o console do DMS for Kafka.
4. Clique na instância de Kafka desejada para visualizar seus detalhes.
5. No painel de navegação, escolha Smart Connect.
6. Na página exibida, clique em Create Task.
7. Em Task Name, insira um nome de tarefa exclusivo de Smart Connect.
8. Para Task Type, selecione Custom.
9. Na área Source, selecione Do not specify.
10. Na área Topics, defina parâmetros com base na tabela a seguir.

    Tabela 4 Parâmetros do tópico

    Parâmetro	Descrição
    Regular expression	Uma expressão regular é usada para assinar tópicos cujos dados você deseja copiar.
    Enter/Select	Insira ou selecione os nomes dos tópicos cujos dados você deseja copiar. Separe-os com vírgulas (,).

11. Na área Target, selecione Redis e defina parâmetros com base na tabela a seguir.

    Tabela 5 Parâmetros de Target

    Parâmetro	Descrição
    Configure	Opções: By instance: selecione uma instância de Redis (recomendado) Manually: especifique manualmente as informações do Redis. Instâncias de cluster de proxy não podem ser especificadas manualmente.
    Redis Instance	Defina este parâmetro quando Configure estiver definido como By instance. Selecione uma instância do Redis existente na lista suspensa.
    Architecture	Defina este parâmetro quando Configure estiver definido como Manually. Opções: Single-node: selecione esta opção se o Redis de origem for do tipo primário/em espera, nó único ou separação de leitura/gravação. Cluster: selecione esta opção se o Redis de origem for do tipo de cluster do Redis.
    Connection Address/Port	Defina este parâmetro quando Configure estiver definido como Manually. Digite o endereço IP e o número da porta para conexão com a instância do Redis.
    Password	Digite a senha, se houver, da instância do Redis.

    

    • A instância do Redis deve ser posterior ao Redis 3.0.
    • Kafka e Redis só podem ser conectados através da intranet. Se eles estiverem em VPCs diferentes, conecte a rede.

12. Clique em Check. Se "Connectivity test passed." for exibido, o Redis de origem pode ser conectado ao Kafka.
13. Clique em Create. A página da lista de tarefas de Smart Connect é exibida. A mensagem "Task xxx was created successfully." é exibida no canto superior direito da página.