Este conteúdo foi traduzido por máquina para sua conveniência e a Huawei Cloud não pode garantir que o conteúdo foi traduzido com precisão. Para exibir o conteúdo original, use o link no canto superior direito para mudar para a página em inglês.

Visão geral de serviço
- O que é o GaussDB(DWS)?
- Tipos de Data Warehouse
- Especificações do armazém de dados
- Vantagens
- Cenários de aplicação
- Funções
- Conceitos
- Serviços relacionados
- Gerenciamento de permissões do GaussDB(DWS)
- Acesso ao GaussDB(DWS)
- Detalhes de preços
- Restrições
- Service Quotas
- Especificações técnicas
- Descrição da versão
Guia de gerenciamento
- Processo para usar o GaussDB(DWS)
- Preparativos
- Criação ou exclusão de um cluster
- Conexão de clusters
- Monitoramento e alarmes
- Mudança e dimensionamento de especificações
- Backup e recuperação de desastres
  - Snapshots
  - DR do cluster
- O&M inteligente
- Gerenciamento de cluster
- Migração de dados
- Gerenciamento de logs de cluster
- Gerenciamento de usuários de banco de dados
  - Gerenciamento de usuários
  - Gerenciamento de funções
- Logs de auditoria
- Gerenciamento de segurança de cluster
- Gerenciamento de recursos
- Gerenciamento de fonte de dados
  - Fontes de dados do MRS
  - Gerenciamento de fontes de dados do OBS
- Gerenciamento de clusters lógicos
Referência de API
- Antes de começar
- Visão geral de API
- Chamada das API
- Introdução
- Descrição de API
  - As API de gerenciamento de cluster
  - As API de gerenciamento de snapshot
- Casos de aplicação
  - Uso de Postman para chamar a API para criar um snapshot
- Políticas de permissões e ações suportadas
- Apêndice
Primeiros passos
- Passo 1: Preparação antes da entrada
- Passo 2: criação de um cluster
- Passo 3: conexão a um cluster
- Passo 4: Exibindo Outros Documentos e Compensando Recursos
Perguntas frequentes
- Perguntas frequentes principais
- Problemas gerais
- Uso do banco de dados
- Gerenciamento de clusters
- Conexões de banco de dados
- Importação e exportação de dados
- Conta, senha e permissão
- Desempenho do banco de dados
- Backup e restauração do snapshot
  1. Por que criar um snapshot automatizado é tão lento?
  2. Um snapshot de DWS tem a mesma função que um snapshot de EVS?
- Cobrança
Melhores práticas
- Importação e exportação
- Migração de dados
- Práticas da otimização de tabela
- Recursos avançados
- Gerenciamento de banco de dados
- Análise de dados de amostra
- Gerenciamento de segurança
No momento, o conteúdo não está disponível no seu idioma selecionado. Consulte a versão em inglês.
What's New
Function Overview
Product Bulletin
- Product Notice
- Version Support Notes
Billing
- GaussDB(DWS) Billing Overview
- Billing Modes
- Item
- Billing Examples
- Billing Mode Change
- Renewal
  - Overview
  - Manual Renewal
- Bills
- Arrears
- Stopping Billing
- Cost Management
- Billing FAQs
Data Migration and Synchronization
- Data Migration to GaussDB(DWS)
- Importing Data
- Full Database Migration
  - Using CDM to Migrate Data to GaussDB(DWS)
  - Using DSC to Migrate SQL Scripts
- Real-time Import
  - Using DRS to Import Data to GaussDB(DWS)
  - Real-time Data Import From Kafka GaussDB(DWS)
- Metadata Migration
  - Using gs_dump and gs_dumpall to Export Metadata
  - Using gs_restore to Import Data
- Exporting Data
- Other Operations
Developer Guide
- Standard data warehouse (9.1.0.x)
- Standard data warehouse (8.1.3.x)
- Hybrid Data Warehouse (9.1.0.x）
- Hybrid Data Warehouse (8.1.3.x）
- Historical Versions
SQL Syntax Reference
- SQL Syntax Reference (9.1.0.x)
- SQL Syntax Reference (8.1.3.x)
- Historical Versions
Performance Tuning
- Overview of Query Performance Optimization
- Query Execution Process
- SQL Execution Plan
- SQL Optimization Guide
- Optimization Cases
- SQL Execution Troubleshooting
- query_band Load Identification
- Common Performance Parameter Optimization Design
Tool Guide
- Overview
- Downloading Related Tools
- gsql
- Data Studio
- GDS
- DSC
- DataCheck
- DWS-Connector
- Server Tool
SDK Reference
- SDK Overview
Troubleshooting
- Database Connections
- JDBC/ODBC
- Data Import and Export
- Database Parameter Modification
- Account/Permission/Password
- Cluster Performance
- Cluster Exceptions
  - The Disk Usage Alarm Is Frequently Generated
- Database Use
Videos
Performance White Paper
- Overview
- Test Result
  - TPC-H Single Query Test
  - TPC-DS Single Query Test
- Test Methods
- Appendixes
  - TPC-H Test Sets
  - TPC-DS Test Sets
Technical White Paper
- GaussDB(DWS)
- Platforms and Technical Specifications Supported by GaussDB(DWS)
  - Technical Specifications
- GaussDB(DWS) Core Technologies
- GaussDB(DWS) Tools
  - Client Tools
  - Database Monitoring Tool
- External APIs
Error Code Reference
- 8.2.0 and earlier versions
  - Management Console Error Code
  - Data Warehouse Service Error Codes
- 8.2.1 or later versions
Glossary
More Documents
- User Guide
- API Reference (ME-Abu Dhabi Region)
- Developer Guide (ME-Abu Dhabi Region)
- SQL Syntax Reference (ME-Abu Dhabi Region)
- Tool Guide (ME-Abu Dhabi Region)
- Error Code Reference (ME-Abu Dhabi Region)
  - Management Console Error Code
- User Guide (Paris Region)
- API Reference (Paris Region)
- Developer Guide (Paris Region)
- SQL Syntax Reference (Paris Region)
- Tool Guide (Paris Region)
- Error Code Reference (Paris Region)
  - Management Console Error Code
- User Guide (Kuala Lumpur Region)
- API Reference (Kuala Lumpur Region)
- Developer Guide (Kuala Lumpur Region)
- SQL Syntax Reference (Kuala Lumpur Region)
- Tool Guide (Kuala Lumpur Region)
- Error Code Reference (Kuala Lumpur Region)
  - Management Console Error Code

Nesta página

Visão geral
Preparar um ECS como servidor do GDS
Baixar o pacote do GDS
Preparar arquivos de dados de origem
Instalar e iniciar o GDS
Criar uma tabela estrangeira
Importar dados
Interromper o GDS
Excluir recursos

Mostrar todos

Central de ajuda/ GaussDB(DWS)/ Melhores práticas/ Importação e exportação/ Tutorial: usar o GDS para importar dados de um servidor remoto

Tutorial: usar o GDS para importar dados de um servidor remoto

Atualizado em 2024-05-09 GMT+08:00

Ver PDF

Visão geral

Esta prática demonstra como usar General Data Service (GDS) para importar dados de um servidor remoto para GaussDB(DWS).

GaussDB(DWS) permite importar dados em formato TXT, CSV ou FIXED.

Neste tutorial, você irá:

Gerar os arquivos de dados de origem no formato CSV a serem usados neste tutorial.
Carregar os arquivos de dados de origem para um servidor de dados.
Criar tabelas estrangeiras usadas para importar dados de um servidor de dados para GaussDB(DWS) por meio do GDS.
Iniciar GaussDB(DWS), crie uma tabela e importe dados para a tabela.
Analisar os erros de importação com base nas informações da tabela de erros e corrija esses erros.

Preparar um ECS como servidor do GDS

Para obter detalhes sobre como comprar um ECS, consulte "Compra de um ECS" em Primeiros passos do Elastic Cloud Server. Após a compra, faça logon no ECS consultando Efetuar logon em um ECS de Linux.

O sistema operacional do ECS deve ser suportado pelo pacote do GDS.
O ECS e o DWS estão na mesma região, VPC e sub-rede.
A regra do grupo de segurança do ECS deve permitir o acesso ao cluster do DWS, ou seja, a regra de entrada do grupo de segurança é a seguinte:
- Protocolo: TCP
- Porta: 5000
- Origem: selecione IP Address e digite o endereço IP do cluster GaussDB(DWS), por exemplo, 192.168.0.10/32.

Se o firewall estiver habilitado no ECS, verifique se a porta de escuta do GDS está ativada no firewall:

        
           iptables  -I INPUT -p tcp -m tcp --dport <gds_port> -j ACCEPT

Baixar o pacote do GDS

Efetue logon no console do GaussDB(DWS).
Na árvore de navegação à esquerda, clique em Connections.
Selecione o cliente do GDS da versão correspondente na lista suspensa de CLI Client.

Selecione uma versão com base na versão do cluster e no SO em que o cliente está instalado.
Clique em Download.

Preparar arquivos de dados de origem

Arquivo de dados product_info0.csv

      
         100,XHDK-A,2017-09-01,A,2017 Shirt Women,red,M,328,2017-09-04,715,good!
205,KDKE-B,2017-09-01,A,2017 T-shirt Women,pink,L,584,2017-09-05,40,very good!
300,JODL-X,2017-09-01,A,2017 T-shirt men,red,XL,15,2017-09-03,502,Bad.
310,QQPX-R,2017-09-02,B,2017 jacket women,red,L,411,2017-09-05,436,It's nice.
150,ABEF-C,2017-09-03,B,2017 Jeans Women,blue,M,123,2017-09-06,120,good.

Arquivo de dados product_info1.csv

      
         200,BCQP-E,2017-09-04,B,2017 casual pants men,black,L,997,2017-09-10,301,good quality.
250,EABE-D,2017-09-10,A,2017 dress women,black,S,841,2017-09-15,299,This dress fits well.
108,CDXK-F,2017-09-11,A,2017 dress women,red,M,85,2017-09-14,22,It's really amazing to buy.
450,MMCE-H,2017-09-11,A,2017 jacket women,white,M,114,2017-09-14,22,very good.
260,OCDA-G,2017-09-12,B,2017 woolen coat women,red,L,2004,2017-09-15,826,Very comfortable.

Arquivo de dados product_info2.csv

      
         980,"ZKDS-J",2017-09-13,"B","2017 Women's Cotton Clothing","red","M",112,,,
98,"FKQB-I",2017-09-15,"B","2017 new shoes men","red","M",4345,2017-09-18,5473
50,"DMQY-K",2017-09-21,"A","2017 pants men","red","37",28,2017-09-25,58,"good","good","good"
80,"GKLW-l",2017-09-22,"A","2017 Jeans Men","red","39",58,2017-09-25,72,"Very comfortable."
30,"HWEC-L",2017-09-23,"A","2017 shoes women","red","M",403,2017-09-26,607,"good!"
40,"IQPD-M",2017-09-24,"B","2017 new pants Women","red","M",35,2017-09-27,52,"very good."
50,"LPEC-N",2017-09-25,"B","2017 dress Women","red","M",29,2017-09-28,47,"not good at all."
60,"NQAB-O",2017-09-26,"B","2017 jacket women","red","S",69,2017-09-29,70,"It's beautiful."
70,"HWNB-P",2017-09-27,"B","2017 jacket women","red","L",30,2017-09-30,55,"I like it so much"
80,"JKHU-Q",2017-09-29,"C","2017 T-shirt","red","M",90,2017-10-02,82,"very good."

Crie um arquivo de texto, abra-o usando uma ferramenta de edição local (por exemplo, Visual Studio Code) e copie os dados de exemplo para o arquivo de texto.
Escolha Format > Encode in UTF-8 without BOM.
Escolha File > Save as.
Na caixa de diálogo exibida, insira o nome do arquivo, defina a extensão do nome de arquivo como.csv e clique em Save.
Efetue logon no servidor do GDS como usuário root.
Crie o diretório /input_data para armazenar o arquivo de dados.
1

mkdir -p /input_data
Use MobaXterm para fazer upload dos arquivos de dados de origem para o diretório criado.

Instalar e iniciar o GDS

Faça logon no servidor do GDS como usuário root e crie o diretório /opt/bin/dws para armazenar o pacote do GDS.
1

mkdir -p /opt/bin/dws
Carregue o pacote do GDS para o diretório criado.

Por exemplo, carregue o pacote dws_client_8.1.x_redhat_x64.zip para o diretório criado.

Vá para o diretório e descompactar o pacote.

      
         cd /opt/bin/dws
unzip dws_client_8.1.x_redhat_x64.zip

Crie um usuário (gds_user) e o grupo de usuários (gdsgrp) ao qual o usuário pertence. Este usuário é usado para iniciar o GDS e deve ter permissão para ler o diretório do arquivo de dados de origem.
1 2

groupadd gdsgrp useradd -g gdsgrp gds_user

Altere o proprietário do pacote do GDS e o diretório do arquivo de dados de origem para gds_user e altere o grupo de usuários para gdsgrp.

      
         chown -R gds_user:gdsgrp /opt/bin/dws/gds
chown -R gds_user:gdsgrp /input_data

Mude para o usuário gds_user.
1

su - gds_user
Se a versão atual do cluster for 8.0.x ou anterior, pule 7 e vá para 8.

Se a versão atual do cluster for 8.1.x ou posterior, vá para a próxima etapa.
Execute o script do qual o ambiente depende (aplicável apenas a 8.1.x).
1 2

cd /opt/bin/dws/gds/bin source gds_env

Inicie o GDS.

      
         /opt/bin/dws/gds/bin/gds -d /input_data/ -p 192.168.0.90:5000 -H 10.10.0.1/24 -l /opt/bin/dws/gds/gds_log.txt -D

Substitua as peças em itálico conforme necessário.

-d dir: diretório para armazenar arquivos de dados que contêm dados a serem importados. Esta prática usa /input_data/ como um exemplo.
-p ip:port: endereço IP de escuta e porta para GDS. O valor padrão é 127.0.0.1. Substitua-o pelo endereço IP de uma rede 10GE com a qual possa se comunicar GaussDB(DWS). O número da porta varia de 1024 a 65535. O valor padrão é 8098. Esta prática usa 192.168.0.90:5000 como um exemplo.
-H address_string: hosts que têm permissão para se conectar e usar o GDS. O valor deve estar no formato CIDR. Defina este parâmetro para permitir que um cluster de GaussDB(DWS) acesse o GDS para importação de dados. Certifique-se de que o segmento de rede cubra todos os hosts em um cluster de GaussDB(DWS).
-l log_file: diretório de log do GDS e nome do arquivo de log. Esta prática usa /opt/bin/dws/gds/gds_log.txt como um exemplo.
-D: GDS em modo daemon. Este parâmetro é usado apenas no Linux.

Criar uma tabela estrangeira

Use um cliente de SQL para se conectar ao banco de dados de GaussDB(DWS).

Crie a seguinte tabela estrangeira:

LOCATION: substitua-o pelo endereço do GDS real e número da porta.

       
        
          
          DROP FOREIGN TABLE IF EXISTS product_info_ext;
CREATE FOREIGN TABLE product_info_ext
(
    product_price                integer        not null,
    product_id                   char(30)       not null,
    product_time                 date           ,
    product_level                char(10)       ,
    product_name                 varchar(200)   ,
    product_type1                varchar(20)    ,
    product_type2                char(10)       ,
    product_monthly_sales_cnt    integer        ,
    product_comment_time         date           ,
    product_comment_num          integer        ,
    product_comment_content      varchar(200)              
) 
SERVER gsmpp_server 
OPTIONS(
LOCATION 'gsfs://192.168.0.90:5000/*',
FORMAT 'CSV' ,
DELIMITER ',',
ENCODING 'utf8',
HEADER 'false',
FILL_MISSING_FIELDS 'true',
IGNORE_EXTRA_DATA 'true'
)
READ ONLY
LOG INTO product_info_err 
PER NODE REJECT LIMIT 'unlimited';

         

       
      

Se as seguintes informações forem exibidas, a tabela estrangeira foi criada:

      
         CREATE FOREIGN TABLE

Importar dados

Execute as instruções a seguir para criar a tabela product_info no GaussDB(DWS) para armazenar os dados importados:

      
       
         
         DROP TABLE IF EXISTS product_info;
CREATE TABLE product_info
(
    product_price                integer        not null,
    product_id                   char(30)       not null,
    product_time                 date           ,
    product_level                char(10)       ,
    product_name                 varchar(200)   ,
    product_type1                varchar(20)    ,
    product_type2                char(10)       ,
    product_monthly_sales_cnt    integer        ,
    product_comment_time         date           ,
    product_comment_num          integer        ,
    product_comment_content      varchar(200)                   
) 
WITH (
orientation = column,
compression=middle
) 
DISTRIBUTE BY hash (product_id);

        

      
     

Importe dados de arquivos de dados de origem para a tabela product_info por meio da tabela estrangeira product_info_ext.
1

INSERT INTO product_info SELECT * FROM product_info_ext ;
Se as seguintes informações forem exibidas, os dados foram importados:
1

INSERT 0 20
Execute a instrução SELECT para exibir os dados importados para GaussDB(DWS).
1

SELECT count(*) FROM product_info;
Se as seguintes informações forem exibidas, os dados foram importados:
1 2 3 4

count ------- 20 (1 row)

Execute VACUUM FULL na tabela product_info.
1

VACUUM FULL product_info
Atualize as estatísticas da tabela product_info.
1

ANALYZE product_info;

Interromper o GDS

Faça logon no servidor de dados em que o GDS está instalado como usuário gds_user.

Execute as seguintes operações para parar o GDS:

Consulte o ID do processo do GDS. O ID do processo do GDS é 128954.

ps -ef|grep gds
gds_user 128954      1  0 15:03 ?        00:00:00 gds -d /input_data/ -p 192.168.0.90:5000 -l /opt/bin/gds/gds_log.txt  -D
gds_user 129003 118723  0 15:04 pts/0    00:00:00 grep gds

Execute o comando kill para interromper o GDS. 128954 indica o ID do processo do GDS.
```
kill -9 128954
```

Excluir recursos

Execute o seguinte comando para excluir a tabela de destino product_info:
1

DROP TABLE product_info;
Se as seguintes informações forem exibidas, a tabela foi excluída:
1

DROP TABLE
Execute o seguinte comando para excluir a tabela estrangeira product_info_ext:
1

DROP FOREIGN TABLE product_info_ext;
Se as seguintes informações forem exibidas, a tabela foi excluída:
1

DROP FOREIGN TABLE

Tópico principal: Importação e exportação

Tópico anterior: Tutorial: importar dados do OBS para um cluster

Próximo tópico: Tutorial: exibir ou importar dados de Hive do MRS

Feedback

Esta página foi útil?

Sim Não

Deixar um comentário

Obrigado por seus comentários. Estamos trabalhando para melhorar a documentação.

O sistema está ocupado. Tente novamente mais tarde.

Quais dos seguintes problemas você encontrou?

O conteúdo é inconsistente com a UI do produto

Descrições pouco claras

Falta de exemplos ou código

Passos incorretos

Não encontro o que preciso

Falta de melhores práticas

Feedback (opcional)

0/500

Selecione pelo menos um tipo de problema e insira seus comentários ou sugestões.

Insira um máximo de 500 caracteres.

Enviar Cancelar