Este conteúdo foi traduzido por máquina para sua conveniência e a Huawei Cloud não pode garantir que o conteúdo foi traduzido com precisão. Para exibir o conteúdo original, use o link no canto superior direito para mudar para a página em inglês.

Visão geral de serviço
- O que é o GaussDB(DWS)?
- Tipos de Data Warehouse
- Especificações do armazém de dados
- Vantagens
- Cenários de aplicação
- Funções
- Conceitos
- Serviços relacionados
- Gerenciamento de permissões do GaussDB(DWS)
- Acesso ao GaussDB(DWS)
- Detalhes de preços
- Restrições
- Service Quotas
- Especificações técnicas
- Descrição da versão
Guia de gerenciamento
- Processo para usar o GaussDB(DWS)
- Preparativos
- Criação ou exclusão de um cluster
- Conexão de clusters
- Monitoramento e alarmes
- Mudança e dimensionamento de especificações
- Backup e recuperação de desastres
  - Snapshots
  - DR do cluster
- O&M inteligente
- Gerenciamento de cluster
- Migração de dados
- Gerenciamento de logs de cluster
- Gerenciamento de usuários de banco de dados
  - Gerenciamento de usuários
  - Gerenciamento de funções
- Logs de auditoria
- Gerenciamento de segurança de cluster
- Gerenciamento de recursos
- Gerenciamento de fonte de dados
  - Fontes de dados do MRS
  - Gerenciamento de fontes de dados do OBS
- Gerenciamento de clusters lógicos
Referência de API
- Antes de começar
- Visão geral de API
- Chamada das API
- Introdução
- Descrição de API
  - As API de gerenciamento de cluster
  - As API de gerenciamento de snapshot
- Casos de aplicação
  - Uso de Postman para chamar a API para criar um snapshot
- Políticas de permissões e ações suportadas
- Apêndice
Primeiros passos
- Passo 1: Preparação antes da entrada
- Passo 2: criação de um cluster
- Passo 3: conexão a um cluster
- Passo 4: Exibindo Outros Documentos e Compensando Recursos
Perguntas frequentes
- Perguntas frequentes principais
- Problemas gerais
- Uso do banco de dados
- Gerenciamento de clusters
- Conexões de banco de dados
- Importação e exportação de dados
- Conta, senha e permissão
- Desempenho do banco de dados
- Backup e restauração do snapshot
  1. Por que criar um snapshot automatizado é tão lento?
  2. Um snapshot de DWS tem a mesma função que um snapshot de EVS?
- Cobrança
Melhores práticas
- Importação e exportação
- Migração de dados
- Práticas da otimização de tabela
- Recursos avançados
- Gerenciamento de banco de dados
- Análise de dados de amostra
- Gerenciamento de segurança
No momento, o conteúdo não está disponível no seu idioma selecionado. Consulte a versão em inglês.
What's New
Function Overview
Product Bulletin
- Product Notice
- Version Support Notes
Billing
- GaussDB(DWS) Billing Overview
- Billing Modes
- Item
- Billing Examples
- Billing Mode Change
- Renewal
  - Overview
  - Manual Renewal
- Bills
- Arrears
- Stopping Billing
- Cost Management
- Billing FAQs
Data Migration and Synchronization
- Data Migration to GaussDB(DWS)
- Importing Data
- Full Database Migration
  - Using CDM to Migrate Data to GaussDB(DWS)
  - Using DSC to Migrate SQL Scripts
- Real-time Import
  - Using DRS to Import Data to GaussDB(DWS)
  - Real-time Data Import From Kafka GaussDB(DWS)
- Metadata Migration
  - Using gs_dump and gs_dumpall to Export Metadata
  - Using gs_restore to Import Data
- Exporting Data
- Other Operations
Developer Guide
- Standard data warehouse (9.1.0.x)
- Standard data warehouse (8.1.3.x)
- Hybrid Data Warehouse (9.1.0.x）
- Hybrid Data Warehouse (8.1.3.x）
- Historical Versions
SQL Syntax Reference
- SQL Syntax Reference (9.1.0.x)
- SQL Syntax Reference (8.1.3.x)
- Historical Versions
Performance Tuning
- Overview of Query Performance Optimization
- Query Execution Process
- SQL Execution Plan
- SQL Optimization Guide
- Optimization Cases
- SQL Execution Troubleshooting
- query_band Load Identification
- Common Performance Parameter Optimization Design
Tool Guide
- Overview
- Downloading Related Tools
- gsql
- Data Studio
- GDS
- DSC
- DataCheck
- DWS-Connector
- Server Tool
SDK Reference
- SDK Overview
Troubleshooting
- Database Connections
- JDBC/ODBC
- Data Import and Export
- Database Parameter Modification
- Account/Permission/Password
- Cluster Performance
- Cluster Exceptions
  - The Disk Usage Alarm Is Frequently Generated
- Database Use
Videos
Performance White Paper
- Overview
- Test Result
  - TPC-H Single Query Test
  - TPC-DS Single Query Test
- Test Methods
- Appendixes
  - TPC-H Test Sets
  - TPC-DS Test Sets
Technical White Paper
- GaussDB(DWS)
- Platforms and Technical Specifications Supported by GaussDB(DWS)
  - Technical Specifications
- GaussDB(DWS) Core Technologies
- GaussDB(DWS) Tools
  - Client Tools
  - Database Monitoring Tool
- External APIs
Error Code Reference
- 8.2.0 and earlier versions
  - Management Console Error Code
  - Data Warehouse Service Error Codes
- 8.2.1 or later versions
Glossary
More Documents
- User Guide
- API Reference (ME-Abu Dhabi Region)
- Developer Guide (ME-Abu Dhabi Region)
- SQL Syntax Reference (ME-Abu Dhabi Region)
- Tool Guide (ME-Abu Dhabi Region)
- Error Code Reference (ME-Abu Dhabi Region)
  - Management Console Error Code
- User Guide (Paris Region)
- API Reference (Paris Region)
- Developer Guide (Paris Region)
- SQL Syntax Reference (Paris Region)
- Tool Guide (Paris Region)
- Error Code Reference (Paris Region)
  - Management Console Error Code
- User Guide (Kuala Lumpur Region)
- API Reference (Kuala Lumpur Region)
- Developer Guide (Kuala Lumpur Region)
- SQL Syntax Reference (Kuala Lumpur Region)
- Tool Guide (Kuala Lumpur Region)
- Error Code Reference (Kuala Lumpur Region)
  - Management Console Error Code

Nesta página

Procedimento geral
Preparativos
Criar um ECS
Criar um cluster e baixar o pacote de ferramentas
Preparar dados de origem
Importar fontes de dados usando o GDS
Importar dados do GaussDB(DWS) remoto usando uma tabela estrangeira

Mostrar todos

Central de ajuda/ GaussDB(DWS)/ Melhores práticas/ Importação e exportação/ Tutorial: importar fontes de dados do GaussDB(DWS) remotas

Tutorial: importar fontes de dados do GaussDB(DWS) remotas

Atualizado em 2024-05-09 GMT+08:00

Ver PDF

Na era da análise convergente de Big Data, os clusters do GaussDB(DWS) na mesma região podem se comunicar uns com os outros. Esta prática demonstra como importar dados de um cluster do GaussDB(DWS) remoto para o cluster do GaussDB(DWS) local usando tabelas estrangeiras.

O procedimento de demonstração é o seguinte: instale o cliente de banco de dados gsql em um ECS, conecte-se ao GaussDB(DWS) usando gsql e importe dados do GaussDB(DWS) remoto usando uma tabela estrangeira.

Procedimento geral

Essa prática leva cerca de 40 minutos. O processo básico é o seguinte:

Preparativos
Criar um ECS
Criar um cluster e baixar o pacote de ferramentas
Importar fontes de dados usando o GDS
Importar dados do GaussDB(DWS) remoto usando uma tabela estrangeira

Preparativos

Você registrou uma conta da Huawei e ativou a Huawei Cloud. A conta não pode estar em atraso ou congelada.

Criar um ECS

Para obter detalhes, consulte Compra de um ECS. Após a compra de um ECS, faça logon no ECS consultando Efetuar logon em um ECS de Linux.

Ao criar um ECS, verifique se o ECS e os clusters do GaussDB(DWS) a serem criados estão na mesma sub-rede da VPC e na mesma região e AZ . O SO do ECS é o mesmo do cliente de gsql ou GDS (o CentOS 7.6 é usado como exemplo) e a senha é usada para logon.

Criar um cluster e baixar o pacote de ferramentas

Faça logon no console de gerenciamento da Huawei Cloud.
Escolha Service List > Analytics > Data Warehouse Service. Na página exibida, clique em Create Cluster no canto superior direito.

Configure parâmetros de acordo com Tabela 1.

**Tabela 1** Configuração de software
Parâmetro	Configuração
Region	Selecione CN-Hong Kong . NOTA: CN-Hong Kong é usado como exemplo. Você pode selecionar outras regiões, conforme necessário. Certifique-se de que todas as operações sejam realizadas na mesma região. Verifique se o GaussDB(DWS) e o ECS estão na mesma região, AZ e sub-rede da VPC.
AZ	AZ2
Resource	Armazém de dados padrão
Compute Resource	ECS
Storage Type	SSD em nuvem
CPU Architecture	x86
Node Flavor	dws2.m6.4xlarge.8 (16 vCPUs \| 128 GB \| 2000 GB SSD) NOTA: Se esse flavor estiver esgotado, selecione outras AZs ou flavors.
Hot Storage	100 GB/nó
Nodes	3
Cluster Name	dws-demo01
Administrator Account	dbadmin
Administrator Password	Senha definida pelo usuário
Confirm Password	Senha
Database Port	8000
VPC	vpc-default
Subnet	subnet-default(192.168.0.0/24) AVISO: Verifique se o cluster e o ECS estão na mesma sub-rede da VPC.
Security Group	Automatic creation
EIP	Buy now
Bandwidth	1 Mbit/s
Advanced Settings	Padrão

Confirme as informações, clique em Next e, em seguida, clique em Submit.
Aguarde cerca de 10 minutos. Depois que o cluster for criado, clique no nome do cluster para ir para a página Basic Information. Escolha Network, clique em um nome de grupo de segurança e verifique se uma regra de grupo de segurança foi adicionada. Neste exemplo, o endereço IP do cliente é 192.168.0.x (o endereço IP da rede privada do ECS onde o gsql está localizado é 192.168.0.90). Portanto, você precisa adicionar uma regra de grupo de segurança na qual o endereço IP é 192.168.0.0/24 e o número da porta é 8000.
Retorne à guia Basic Information do cluster e registre o valor de Private Network IP Address.
Retorne à página inicial do console do GaussDB(DWS). Escolha Connections no painel de navegação à esquerda, selecione o SO do ECS (por exemplo, selecione Redhat x86_64 para CentOS 7.6) e clique em Download para salvar o pacote de ferramentas no host local. O pacote de ferramentas contém o cliente de gsql e o GDS.
Repita 1 a 6 para criar um segundo cluster do GaussDB(DWS) e defina seu nome como dws-demo02.

Preparar dados de origem

Crie os três arquivos CSV a seguir no diretório especificado no PC local:

Arquivo de dados product_info0.csv

        
           100,XHDK-A,2017-09-01,A,2017 Shirt Women,red,M,328,2017-09-04,715,good!
205,KDKE-B,2017-09-01,A,2017 T-shirt Women,pink,L,584,2017-09-05,40,very good!
300,JODL-X,2017-09-01,A,2017 T-shirt men,red,XL,15,2017-09-03,502,Bad.
310,QQPX-R,2017-09-02,B,2017 jacket women,red,L,411,2017-09-05,436,It's nice.
150,ABEF-C,2017-09-03,B,2017 Jeans Women,blue,M,123,2017-09-06,120,good.

Arquivo de dados product_info1.csv

        
           200,BCQP-E,2017-09-04,B,2017 casual pants men,black,L,997,2017-09-10,301,good quality.
250,EABE-D,2017-09-10,A,2017 dress women,black,S,841,2017-09-15,299,This dress fits well.
108,CDXK-F,2017-09-11,A,2017 dress women,red,M,85,2017-09-14,22,It's really amazing to buy.
450,MMCE-H,2017-09-11,A,2017 jacket women,white,M,114,2017-09-14,22,very good.
260,OCDA-G,2017-09-12,B,2017 woolen coat women,red,L,2004,2017-09-15,826,Very comfortable.

Arquivo de dados product_info2.csv

        
           980,"ZKDS-J",2017-09-13,"B","2017 Women's Cotton Clothing","red","M",112,,,
98,"FKQB-I",2017-09-15,"B","2017 new shoes men","red","M",4345,2017-09-18,5473
50,"DMQY-K",2017-09-21,"A","2017 pants men","red","37",28,2017-09-25,58,"good","good","good"
80,"GKLW-l",2017-09-22,"A","2017 Jeans Men","red","39",58,2017-09-25,72,"Very comfortable."
30,"HWEC-L",2017-09-23,"A","2017 shoes women","red","M",403,2017-09-26,607,"good!"
40,"IQPD-M",2017-09-24,"B","2017 new pants Women","red","M",35,2017-09-27,52,"very good."
50,"LPEC-N",2017-09-25,"B","2017 dress Women","red","M",29,2017-09-28,47,"not good at all."
60,"NQAB-O",2017-09-26,"B","2017 jacket women","red","S",69,2017-09-29,70,"It's beautiful."
70,"HWNB-P",2017-09-27,"B","2017 jacket women","red","L",30,2017-09-30,55,"I like it so much"
80,"JKHU-Q",2017-09-29,"C","2017 T-shirt","red","M",90,2017-10-02,82,"very good."

Efetue logon no ECS criado como usuário root e execute o seguinte comando para criar um diretório de arquivos de origem de dados:

mkdir -p /input_data
Use uma ferramenta de transferência de arquivos para carregar os arquivos de dados anteriores para o diretório /input_data do ECS.

Importar fontes de dados usando o GDS

Faça logon no ECS como usuário root e use uma ferramenta de transferência de arquivos para carregar o pacote de ferramentas baixado em 7 ao diretório /opt.
Descompacte o pacote de ferramentas no diretório /opt.

cd /opt

unzip dws_client_8.1.x_redhat_x64.zip
Crie um usuário do GDS e altere os proprietários da fonte de dados e dos diretórios do GDS.

groupadd gdsgrp

useradd -g gdsgrp gds_user

chown -R gds_user:gdsgrp /opt/gds

chown -R gds_user:gdsgrp /input_data
Mude para o usuário gds_user.

su - gds_user
Importe as variáveis de ambiente do GDS.

Esta etapa é necessária apenas para 8.1.x ou posterior. Para versões anteriores, pule esta etapa.

cd /opt/gds/bin

source gds_env
Inicie o GDS.

/opt/gds/bin/gds -d /input_data/ -p 192.168.0.90:5000 -H 192.168.0.0/24 -l /opt/gds/gds_log.txt -D
- -d dir: diretório para armazenar arquivos de dados que contêm dados a serem importados. Esta prática usa /input_data/ como um exemplo.
- -p ip:port: endereço IP de escuta e porta para GDS. Defina este parâmetro para o endereço IP da rede privada do ECS onde o GDS está instalado para que o GDS possa se comunicar com o GaussDB (DWS). Neste exemplo, 192.168.0.90:5000 é usado.
- -H address_string: hosts que têm permissão para se conectar e usar o GDS. O valor deve estar no formato CIDR. Neste exemplo, o segmento de rede do endereço IP da rede privada do GaussDB(DWS) é usado.
- -l log_file: diretório de log do GDS e nome do arquivo de log. Neste exemplo, /opt/gds/gds_log.txt é usado.
- -D: GDS em modo daemon.
Conecte-se ao primeiro cluster do GaussDB(DWS) usando gsql.
1. Execute o comando exit para alternar para o usuário root, vá para o diretório /opt do ECS e importe as variáveis de ambiente do gsql.
  exit
  
  cd /opt
  
  source gsql_env.sh
2. Vá para o diretório /opt/bin e conecte-se ao primeiro cluster do GaussDB(DWS) usando gsql.
  cd /opt/bin
  
  gsql -d gaussdb -h 192.168.0.8 -p 8000 -U dbadmin -W password -r
  - -d: nome do banco de dados conectado. Neste exemplo, o banco de dados padrão gaussdb é usado.
  - -h: endereço IP da rede privada do banco de dados do GaussDB(DWS) conectado consultado em 6. Neste exemplo, 192.168.0.8 é usado.
  - -p: porta do GaussDB(DWS). O valor é 8000.
  - -U: administrador do banco de dados. O valor padrão é dbadmin.
  - -W: senha do administrador, que é definida durante a criação do cluster em 3. Neste exemplo, substitua password pela senha real.
Crie um usuário comum leo e conceda ao usuário a permissão para criar tabelas estrangeiras.
1 2

CREATE USER leo WITH PASSWORD 'password'; ALTER USER leo USEFT;

Mude para o usuário leo e crie uma tabela estrangeira do GDS.

Defina LOCATION como o endereço IP de escuta do GDS e o número da porta obtidos em 6, por exemplo, gsfs://192.168.0.90:5000/*.

      
       
         
         SET ROLE leo PASSWORD 'password';
DROP FOREIGN TABLE IF EXISTS product_info_ext;
CREATE FOREIGN TABLE product_info_ext
(
    product_price                integer        not null,
    product_id                   char(30)       not null,
    product_time                 date           ,
    product_level                char(10)       ,
    product_name                 varchar(200)   ,
    product_type1                varchar(20)    ,
    product_type2                char(10)       ,
    product_monthly_sales_cnt    integer        ,
    product_comment_time         date           ,
    product_comment_num          integer        ,
    product_comment_content      varchar(200)              
) 
SERVER gsmpp_server 
OPTIONS(
LOCATION 'gsfs://192.168.0.90:5000/*',
FORMAT 'CSV' ,
DELIMITER ',',
ENCODING 'utf8',
HEADER 'false',
FILL_MISSING_FIELDS 'true',
IGNORE_EXTRA_DATA 'true'
)
READ ONLY
LOG INTO product_info_err 
PER NODE REJECT LIMIT 'unlimited';

        

      
     

Crie uma tabela local.

      
       
         
         DROP TABLE IF EXISTS product_info;
CREATE TABLE product_info
(
    product_price                integer        not null,
    product_id                   char(30)       not null,
    product_time                 date           ,
    product_level                char(10)       ,
    product_name                 varchar(200)   ,
    product_type1                varchar(20)    ,
    product_type2                char(10)       ,
    product_monthly_sales_cnt    integer        ,
    product_comment_time         date           ,
    product_comment_num          integer        ,
    product_comment_content      varchar(200)                   
) 
WITH (
orientation = column,
compression=middle
) 
DISTRIBUTE BY hash (product_id);

        

      
     

Importe dados da tabela estrangeira do GDS e verifique se os dados foram importados com êxito.

      
         INSERT INTO product_info SELECT * FROM product_info_ext ;
SELECT count(*) FROM product_info;

Importar dados do GaussDB(DWS) remoto usando uma tabela estrangeira

Conecte-se ao segundo cluster no ECS fazendo referência a 7. Altere o endereço de conexão para o endereço do segundo cluster. Neste exemplo, 192.168.0.86 é usado.

Crie um usuário comum jim e conceda ao usuário a permissão para criar tabelas e servidores estrangeiros. O valor de FOREIGN DATA WRAPPER é gc_fdws.

      
         CREATE USER jim WITH PASSWORD 'password';
ALTER USER jim USEFT;
GRANT ALL ON FOREIGN DATA WRAPPER gc_fdw TO jim;

Mude para o usuário jim e crie um servidor.

      
         SET ROLE jim PASSWORD 'password';
CREATE SERVER server_remote FOREIGN DATA WRAPPER gc_fdw OPTIONS  
   (address '192.168.0.8:8000,192.168.0.158:8000' , 
  dbname 'gaussdb',  
  username 'leo',  
  password 'password' 
);

address: endereços IP de rede privada e número de porta do primeiro cluster obtido em 6. Neste exemplo, 192.168.0.8:8000 e 192.168.0.158:8000 são usados.
dbname: nome do banco de dados do primeiro cluster conectado. Neste exemplo, gaussdb é usado.
username: nome do usuário do primeiro cluster conectado. Neste exemplo, leo é usado.
password: senha do usuário

Crie uma tabela estrangeira.

As colunas e as restrições da tabela estrangeira devem ser consistentes com as da tabela a ser acessada.

       
        
          
          CREATE FOREIGN TABLE region 
( 
    product_price                integer      ,
    product_id                   char(30)       ,
    product_time                 date           ,
    product_level                char(10)       ,
    product_name                 varchar(200)   ,
    product_type1                varchar(20)    ,
    product_type2                char(10)       ,
    product_monthly_sales_cnt    integer        ,
    product_comment_time         date           ,
    product_comment_num          integer        ,
    product_comment_content      varchar(200)   
) 
SERVER 
    server_remote 
OPTIONS 
( 
    schema_name 'leo', 
    table_name 'product_info', 
    encoding 'utf8' 
);

         

       
      

SERVER: nome do servidor criado no passo anterior. Neste exemplo, server_remote é usado.
schema_name: nome do esquema do primeiro cluster a ser acessado. Neste exemplo, leo é usado.
table_name: nome da tabela do primeiro cluster a ser acessado obtido em 10. Neste exemplo, product_info é usado.
encoding: o valor deve ser o mesmo do primeiro cluster obtido em 9. Neste exemplo, utf8 é usado.

Visualize o servidor criado e a tabela estrangeira.
1 2

\des+ server_remote \d+ region

Crie uma tabela local.

As colunas e restrições da tabela devem ser consistentes com as da tabela a ser acessada.

       
        
          
          CREATE TABLE local_region 
( 
    product_price                integer        not null,
    product_id                   char(30)       not null,
    product_time                 date           ,
    product_level                char(10)       ,
    product_name                 varchar(200)   ,
    product_type1                varchar(20)    ,
    product_type2                char(10)       ,
    product_monthly_sales_cnt    integer        ,
    product_comment_time         date           ,
    product_comment_num          integer        ,
    product_comment_content      varchar(200)        
) 

WITH (
orientation = column,
compression=middle
) 
DISTRIBUTE BY hash (product_id);

         

       
      

Importe dados para a tabela local usando a tabela estrangeira.

      
         INSERT INTO local_region SELECT * FROM region;
SELECT * FROM local_region;

Consulte a tabela estrangeira sem importar dados.
1

SELECT * FROM region;

Tópico principal: Importação e exportação

Tópico anterior: Tutorial: exibir ou importar dados de Hive do MRS

Próximo tópico: Tutorial: exportar dados do ORC para MRS

Feedback

Esta página foi útil?

Sim Não

Deixar um comentário

Obrigado por seus comentários. Estamos trabalhando para melhorar a documentação.

O sistema está ocupado. Tente novamente mais tarde.

Quais dos seguintes problemas você encontrou?

O conteúdo é inconsistente com a UI do produto

Descrições pouco claras

Falta de exemplos ou código

Passos incorretos

Não encontro o que preciso

Falta de melhores práticas

Feedback (opcional)

0/500

Selecione pelo menos um tipo de problema e insira seus comentários ou sugestões.

Insira um máximo de 500 caracteres.

Enviar Cancelar