Este conteúdo foi traduzido por máquina para sua conveniência e a Huawei Cloud não pode garantir que o conteúdo foi traduzido com precisão. Para exibir o conteúdo original, use o link no canto superior direito para mudar para a página em inglês.
Central de ajuda/ GaussDB(DWS)/ Guia de gerenciamento/ Gerenciamento de fonte de dados/ Fontes de dados do MRS/ Visão geral do uso da fonte de dados do MRS
Atualizado em 2024-08-19 GMT+08:00
Ver PDF
Compartilhar

Visão geral do uso da fonte de dados do MRS

Visão geral do cluster do MRS

O MRS é um cluster de Big Data executado com base no ecossistema Hadoop de código aberto. Ele fornece as mais recentes capacidades de armazenamento e análise de ponta do setor de volumes massivos de dados, satisfazendo seus requisitos de armazenamento e processamento de dados. Para obter detalhes sobre os serviços do MRS, consulte o Guia de usuário do MapReduce Service.

Você pode usar o Hive/Spark (cluster de análise do MRS) para armazenar grandes volumes de dados de serviço. Os arquivos de dados de Hive/Spark são armazenados no HDFS. No GaussDB(DWS), você pode conectar um cluster de armazém de dados a clusters do MRS, ler dados de arquivos HDFS e gravar os dados no GaussDB(DWS) quando os clusters estiverem na mesma rede.

Atualmente, o armazém de dados híbrido (modo autônomo) não pode importar dados do MRS.

Processo de operação

Execute as seguintes operações para importar dados do MRS para um cluster de armazém de dados:

  1. Pré-requisitos
    1. Crie um cluster do MRS em um cluster do GaussDB(DWS). Para obter detalhes, consulte Compra de um cluster personalizado.
    2. Crie uma tabela estrangeira HDFS para consultar dados do cluster do MRS sobre APIs de um servidor estrangeiro.

      Para obter detalhes, consulte Importação de dados do MRS para um cluster de armazém de dados em Migração e sincronização de dados do Data Warehouse Service (DWS).

      • Várias fontes de dados do MRS podem existir na mesma rede, mas um cluster do GaussDB(DWS) pode se conectar a apenas um cluster do MRS por vez.
  2. No cluster de armazém de dados, crie uma conexão de fonte de dados do MRS de acordo com Criação de uma conexão de fonte de dados do MRS.
  3. Importe dados de uma origem de dados MRS para o cluster. Para obter detalhes, consulte Importação de dados do MRS para um cluster.
  4. (Opcional) Quando a configuração de HDFS do cluster do MRS for alterada, atualize a configuração da fonte de dados do MRS no GaussDB(DWS). Para mais detalhes, consulte Atualização da configuração da fonte de dados do MRS.
Tópico principal: Fontes de dados do MRS