Criação de uma conexão de fonte de dados do MRS

Cenário

Antes que o GaussDB(DWS) leia dados do MRS HDFS, é necessário criar uma conexão de origem de dados do MRS que funcione como um canal de transporte de dados de cluster do armazém de dados e dados de cluster do MRS.

Impacto no sistema

• Você pode criar apenas uma conexão de origem de dados do MRS no cluster de armazém de dados de cada vez.
• Quando uma conexão de fonte de dados do MRS está sendo criada, o sistema adiciona automaticamente regras de entrada e saída aos grupos de segurança do cluster de armazém de dados e do cluster do MRS. Os nós na mesma sub-rede podem ser acessados.
• Para o cluster do MRS com autenticação de Kerberos ativada, o sistema adiciona automaticamente um usuário Machine-Machine que pertence ao supergroup do grupo de usuários ao cluster do MRS.

Pré-requisitos

• Você criou um cluster de armazém de dados e registrou a VPC e a sub-rede onde o cluster reside.
• Um cluster do MRS do tipo de análise foi criado.

Procedimento

1. Faça logon no console de gerenciamento de nuvem público da Huawei Cloud.
2. Escolha Service List > Analytics > MapReduce Service para entrar no console de gerenciamento do MRS e criar um cluster.

   Configure os parâmetros conforme necessário. Para obter detalhes, consulte "Guia de operação do cluster > Criação personalizada de um cluster" no Guia de usuário do MapReduce Service.

   • A VPC do cluster do MRS deve ser a mesma do cluster do armazém de dados.
   • As versões de cluster do MRS 1.9.2, 2.1.0, 3.0.2-LTS e 3.1.2-LTS são recomendadas.
     

     • Para clusters da versão 8.1.1.300 e posteriores, os clusters do MRS suportam as versões *, 1.7.*, 1.8.*, 1.9.*, 2.0.*, 3.0.*, 3.1.* e posteriores (* indica um número).
     • Para clusters anteriores à versão 8.1.1.300, os clusters do MRS suportam as versões 1.6.*, 1.7.*, 1.8.*, 1.9.* e 2.0.* (* indica um número).
   • Selecione o componente Hadoop.

   Se você já tiver um cluster de MRS qualificado, ignore esta etapa.

3. Escolha Service List > Analytics > GaussDB(DWS).
4. No console de gerenciamento do GaussDB(DWS), escolha Clusters.
5. Na lista de clusters, clique no nome de um cluster. A página Cluster Information é exibida.
6. Na árvore de navegação à esquerda, escolha Data Sources > MRS Data Sources.
   Figura 1 Fontes de dados do MRS
   

7. Clique em Create MRS Cluster Connection e configure parâmetros.
   Figura 2 Selecionar um usuário do MRS e criar uma fonte de dados do MRS
   
   Figura 3 Selecionar arquivos para upload e criar uma conexão de fonte de dados do MRS
   

   Tabela 1 Parâmetros comuns de conexão do MRS

   Parâmetro	Descrição
   Data Source	Nome do servidor de banco de dados GaussDB(DWS). Pode conter de 3 a 63 caracteres, incluindo letras minúsculas, números e sublinhados (_), e deve começar com uma letra minúscula.
   Configuration Mode	A maneira pela qual o sistema obtém arquivos. As opções são as seguintes: MRS Account: configure o nome de usuário e a senha do Manager do cluster do MRS. O sistema fará logon no Manager e baixará automaticamente os arquivos de configuração e verificação. Para obter mais informações, consulte Tabela 2. File upload: faça download do arquivo de configuração do Manager do cluster do MRS e carregue-o manualmente. Você pode usar esse método para autenticação de Kerberos. Para obter mais informações, consulte Tabela 3. NOTA: Se você selecionar File upload, certifique-se de que o MRS possa se comunicar com o cluster do GaussDB(DWS).
   Database	Banco de dados onde a fonte de dados está localizada.
   Description	Descrição da conexão.

   Tabela 2 Parâmetros do modo de conta do MRS

   Parâmetro	Descrição
   MRS Data Source	Selecione um cluster do MRS que possa ser conectado ao GaussDB(DWS) na caixa de lista suspensa. Por padrão, os clusters do MRS personalizados, híbridos e analíticos que estão na mesma VPC e sub-rede do cluster do GaussDB(DWS) atual e disponíveis para o usuário atual são exibidos. Depois de selecionar um cluster do MRS, o sistema exibe automaticamente se a autenticação de Kerberos está habilitada para o cluster selecionado. Clique em View MRS Cluster para exibir suas informações detalhadas. Se a lista suspensa MRS Data Source estiver vazia, clique em Create MRS Cluster para criar um cluster do MRS.
   MRS Account	Conta usada quando um cluster do GaussDB(DWS) se conecta a um cluster do MRS.
   Password	Senha do usuário da conexão. Se você alterar a senha, será necessário criar uma conexão novamente. AVISO: Certifique-se de que a conta tenha sido usada para fazer logon no MRS Manager. Se você usar uma nova conta, você será solicitado a alterar sua senha quando fizer o primeiro logon. Neste caso, a fonte de dados MRS não será configurada.
   Use a Machine-Machine Account	Cria uma conta máquina-máquina chamada dws no MRS e a usa para interação com o MRS. Esta conta está no grupo supergroup e tem todas as permissões. Se a opção estiver desativada, será usada a conta homem-máquina configurada. Certifique-se de que esta conta tem permissão para acessar dados, ou uma mensagem será exibida durante o acesso à fonte de dados, indicando que o arquivo necessário não existe.

   Tabela 3 Parâmetros do modo de upload de arquivos

   Parâmetro	Descrição
   Authentication Credential	Arquivo keytab de um usuário. Um arquivo de credenciais baixado do Manager do cluster do MRS. Formato do nome do arquivo: Username_Timestamp_keytab.tar Para MRS 2.x ou anterior, escolha System > Manage User. Na coluna Operation de um usuário, escolha More > Download authentication credential. Para o MRS 3.x ou posterior, escolha System > Permission > User. Na coluna Operation de um usuário, escolha More > Download Authentication Credential.
   Client Profile	Arquivos de configuração do cliente do HDFS, Hive e hosts. Ao fazer o download do cliente, defina Select Client Type como Configuration Files Only. Para MRS 2.x ou anterior, escolha Services e clique em Download Client. Para MRS 3.x ou posterior, escolha Homepage. Clique no ícone More e escolha Download Client.

8. Clique em OK para salvar a conexão.

   Configuration Status se transforma em Creating. Pode ver a conexão criada com êxito na lista de fonte de dados do MRS e o estado da conexão é Available.

   

   • Na coluna Operation, você pode clicar em Update Configurationspara atualizar MRS Cluster Status e Configuration Status. Durante a atualização de configuração, você não pode criar uma conexão. O sistema verifica se a regra do grupo de segurança está correta. Se a regra estiver incorreta, o sistema corrige a falha. Para mais detalhes, consulte Atualização da configuração da fonte de dados do MRS.
   • Na coluna Operation, você pode clicar em Delete para excluir a conexão desnecessária. Ao excluir uma conexão, você precisa excluir manualmente a regra de grupo de segurança.
   • Se as regras de grupo de segurança não forem excluídas, os nós no cluster de armazém de dados ainda poderão se comunicar com os nós no cluster de MRS. Se você tiver requisitos rígidos de segurança de rede, exclua manualmente as regras.