Este conteúdo foi traduzido por máquina para sua conveniência e a Huawei Cloud não pode garantir que o conteúdo foi traduzido com precisão. Para exibir o conteúdo original, use o link no canto superior direito para mudar para a página em inglês.

Visão geral de serviço
- O que é o GaussDB(DWS)?
- Tipos de Data Warehouse
- Especificações do armazém de dados
- Vantagens
- Cenários de aplicação
- Funções
- Conceitos
- Serviços relacionados
- Gerenciamento de permissões do GaussDB(DWS)
- Acesso ao GaussDB(DWS)
- Detalhes de preços
- Restrições
- Service Quotas
- Especificações técnicas
- Descrição da versão
Guia de gerenciamento
- Processo para usar o GaussDB(DWS)
- Preparativos
- Criação ou exclusão de um cluster
- Conexão de clusters
- Monitoramento e alarmes
- Mudança e dimensionamento de especificações
- Backup e recuperação de desastres
  - Snapshots
  - DR do cluster
- O&M inteligente
- Gerenciamento de cluster
- Migração de dados
- Gerenciamento de logs de cluster
- Gerenciamento de usuários de banco de dados
  - Gerenciamento de usuários
  - Gerenciamento de funções
- Logs de auditoria
- Gerenciamento de segurança de cluster
- Gerenciamento de recursos
- Gerenciamento de fonte de dados
  - Fontes de dados do MRS
  - Gerenciamento de fontes de dados do OBS
- Gerenciamento de clusters lógicos
Referência de API
- Antes de começar
- Visão geral de API
- Chamada das API
- Introdução
- Descrição de API
  - As API de gerenciamento de cluster
  - As API de gerenciamento de snapshot
- Casos de aplicação
  - Uso de Postman para chamar a API para criar um snapshot
- Políticas de permissões e ações suportadas
- Apêndice
Primeiros passos
- Passo 1: Preparação antes da entrada
- Passo 2: criação de um cluster
- Passo 3: conexão a um cluster
- Passo 4: Exibindo Outros Documentos e Compensando Recursos
Perguntas frequentes
- Perguntas frequentes principais
- Problemas gerais
- Uso do banco de dados
- Gerenciamento de clusters
- Conexões de banco de dados
- Importação e exportação de dados
- Conta, senha e permissão
- Desempenho do banco de dados
- Backup e restauração do snapshot
  1. Por que criar um snapshot automatizado é tão lento?
  2. Um snapshot de DWS tem a mesma função que um snapshot de EVS?
- Cobrança
Melhores práticas
- Importação e exportação
- Migração de dados
- Práticas da otimização de tabela
- Recursos avançados
- Gerenciamento de banco de dados
- Análise de dados de amostra
- Gerenciamento de segurança
No momento, o conteúdo não está disponível no seu idioma selecionado. Consulte a versão em inglês.
What's New
Function Overview
Product Bulletin
- Product Notice
- Version Support Notes
Billing
- GaussDB(DWS) Billing Overview
- Billing Modes
- Item
- Billing Examples
- Billing Mode Change
- Renewal
  - Overview
  - Manual Renewal
- Bills
- Arrears
- Stopping Billing
- Cost Management
- Billing FAQs
Data Migration and Synchronization
- Data Migration to GaussDB(DWS)
- Importing Data
- Full Database Migration
  - Using CDM to Migrate Data to GaussDB(DWS)
  - Using DSC to Migrate SQL Scripts
- Real-time Import
  - Using DRS to Import Data to GaussDB(DWS)
  - Real-time Data Import From Kafka GaussDB(DWS)
- Metadata Migration
  - Using gs_dump and gs_dumpall to Export Metadata
  - Using gs_restore to Import Data
- Exporting Data
- Other Operations
Developer Guide
- Standard data warehouse (9.1.0.x)
- Standard data warehouse (8.1.3.x)
- Hybrid Data Warehouse (9.1.0.x）
- Hybrid Data Warehouse (8.1.3.x）
- Historical Versions
SQL Syntax Reference
- SQL Syntax Reference (9.1.0.x)
- SQL Syntax Reference (8.1.3.x)
- Historical Versions
Performance Tuning
- Overview of Query Performance Optimization
- Query Execution Process
- SQL Execution Plan
- SQL Optimization Guide
- Optimization Cases
- SQL Execution Troubleshooting
- query_band Load Identification
- Common Performance Parameter Optimization Design
Tool Guide
- Overview
- Downloading Related Tools
- gsql
- Data Studio
- GDS
- DSC
- DataCheck
- DWS-Connector
- Server Tool
SDK Reference
- SDK Overview
Troubleshooting
- Database Connections
- JDBC/ODBC
- Data Import and Export
- Database Parameter Modification
- Account/Permission/Password
- Cluster Performance
- Cluster Exceptions
  - The Disk Usage Alarm Is Frequently Generated
- Database Use
Videos
Performance White Paper
- Overview
- Test Result
  - TPC-H Single Query Test
  - TPC-DS Single Query Test
- Test Methods
- Appendixes
  - TPC-H Test Sets
  - TPC-DS Test Sets
Technical White Paper
- GaussDB(DWS)
- Platforms and Technical Specifications Supported by GaussDB(DWS)
  - Technical Specifications
- GaussDB(DWS) Core Technologies
- GaussDB(DWS) Tools
  - Client Tools
  - Database Monitoring Tool
- External APIs
Error Code Reference
- 8.2.0 and earlier versions
  - Management Console Error Code
  - Data Warehouse Service Error Codes
- 8.2.1 or later versions
Glossary
More Documents
- User Guide
- API Reference (ME-Abu Dhabi Region)
- Developer Guide (ME-Abu Dhabi Region)
- SQL Syntax Reference (ME-Abu Dhabi Region)
- Tool Guide (ME-Abu Dhabi Region)
- Error Code Reference (ME-Abu Dhabi Region)
  - Management Console Error Code
- User Guide (Paris Region)
- API Reference (Paris Region)
- Developer Guide (Paris Region)
- SQL Syntax Reference (Paris Region)
- Tool Guide (Paris Region)
- Error Code Reference (Paris Region)
  - Management Console Error Code
- User Guide (Kuala Lumpur Region)
- API Reference (Kuala Lumpur Region)
- Developer Guide (Kuala Lumpur Region)
- SQL Syntax Reference (Kuala Lumpur Region)
- Tool Guide (Kuala Lumpur Region)
- Error Code Reference (Kuala Lumpur Region)
  - Management Console Error Code

Nesta página

Visão geral
Preparar arquivos de dados de origem
Carregar dados para o OBS
Criar uma tabela estrangeira
Importar dados
Excluir recursos

Mostrar todos

Central de ajuda/ GaussDB(DWS)/ Melhores práticas/ Importação e exportação/ Tutorial: importar dados do OBS para um cluster

Tutorial: importar dados do OBS para um cluster

Atualizado em 2024-05-09 GMT+08:00

Ver PDF

Visão geral

Esta prática demonstra como fazer upload de dados de amostra para o OBS e importar dados do OBS para a tabela de destino no GaussDB(DWS), ajudando você a aprender rapidamente como importar dados do OBS para um cluster do GaussDB(DWS).

Você pode importar dados no formato TXT, CSV, ORC, PARQUET, CARBONDATA ou JSON do OBS para um cluster do GaussDB(DWS) para consulta.

Este tutorial usa o formato CSV como um exemplo para descrever como executar as seguintes operações:

Gere arquivos de dados em formato CSV.
Crie um bucket do OBS na mesma região que o cluster do GaussDB(DWS) e carregue os arquivos de dados para o bucket do OBS.
Crie uma tabela estrangeira para importar dados do bucket do OBS para clusters do GaussDB(DWS).
Inicie o GaussDB(DWS), crie uma tabela e importe dados do OBS para a tabela.
Analise os erros de importação com base nas informações da tabela de erros e corrija esses erros.

Tempo estimado: 30 minutos

Preparar arquivos de dados de origem

Arquivo de dados product_info0.csv

      
         100,XHDK-A,2017-09-01,A,2017 Shirt Women,red,M,328,2017-09-04,715,good!
205,KDKE-B,2017-09-01,A,2017 T-shirt Women,pink,L,584,2017-09-05,40,very good!
300,JODL-X,2017-09-01,A,2017 T-shirt men,red,XL,15,2017-09-03,502,Bad.
310,QQPX-R,2017-09-02,B,2017 jacket women,red,L,411,2017-09-05,436,It's nice.
150,ABEF-C,2017-09-03,B,2017 Jeans Women,blue,M,123,2017-09-06,120,good.

Arquivo de dados product_info1.csv

      
         200,BCQP-E,2017-09-04,B,2017 casual pants men,black,L,997,2017-09-10,301,good quality.
250,EABE-D,2017-09-10,A,2017 dress women,black,S,841,2017-09-15,299,This dress fits well.
108,CDXK-F,2017-09-11,A,2017 dress women,red,M,85,2017-09-14,22,It's really amazing to buy.
450,MMCE-H,2017-09-11,A,2017 jacket women,white,M,114,2017-09-14,22,very good.
260,OCDA-G,2017-09-12,B,2017 woolen coat women,red,L,2004,2017-09-15,826,Very comfortable.

Arquivo de dados product_info2.csv

      
         980,"ZKDS-J",2017-09-13,"B","2017 Women's Cotton Clothing","red","M",112,,,
98,"FKQB-I",2017-09-15,"B","2017 new shoes men","red","M",4345,2017-09-18,5473
50,"DMQY-K",2017-09-21,"A","2017 pants men","red","37",28,2017-09-25,58,"good","good","good"
80,"GKLW-l",2017-09-22,"A","2017 Jeans Men","red","39",58,2017-09-25,72,"Very comfortable."
30,"HWEC-L",2017-09-23,"A","2017 shoes women","red","M",403,2017-09-26,607,"good!"
40,"IQPD-M",2017-09-24,"B","2017 new pants Women","red","M",35,2017-09-27,52,"very good."
50,"LPEC-N",2017-09-25,"B","2017 dress Women","red","M",29,2017-09-28,47,"not good at all."
60,"NQAB-O",2017-09-26,"B","2017 jacket women","red","S",69,2017-09-29,70,"It's beautiful."
70,"HWNB-P",2017-09-27,"B","2017 jacket women","red","L",30,2017-09-30,55,"I like it so much"
80,"JKHU-Q",2017-09-29,"C","2017 T-shirt","red","M",90,2017-10-02,82,"very good."

Crie um arquivo de texto, abra-o usando uma ferramenta de edição local (por exemplo, Visual Studio Code) e copie os dados de exemplo para o arquivo de texto.
Escolha Format > Encode in UTF-8 without BOM.
Escolha File > Save as.
Na caixa de diálogo exibida, insira o nome do arquivo, defina a extensão do nome de arquivo como .csv e clique em Save.

Carregar dados para o OBS

Armazene os três arquivos de dados de origem CSV no intervalo do OBS.

Faça logon no console de gerenciamento do OBS.
Clique em Service List e escolha Object Storage Service para abrir o console de gerenciamento do OBS.
Crie um bucket.

Para obter detalhes sobre como criar um bucket do OBS, consulte Criação de um bucket em Primeiros passos no Object Storage Service.

Por exemplo, crie dois buckets denominados mybucket e mybucket02.

Certifique-se de que os dois buckets estejam na mesma região que o cluster do GaussDB(DWS). Esta prática utiliza a região CN-Hong Kong como exemplo.
Crie uma pasta.
Para obter detalhes, consulte Creating a Folder no Guia de operação de console do Object Storage Service .

Exemplos:
- Crie uma pasta chamada input_data no bucket do OBS mybucket.
- Crie uma pasta chamada input_data no bucket do OBS mybucket02.

Carregue os arquivos.

Para obter detalhes, consulte Carregamento de um objeto no Guia de operação de console do Object Storage Service.

Exemplos:

Carregue os seguintes arquivos de dados para a pasta input_data no bucket do OBS mybucket:

          
             product_info0.csv
product_info1.csv

Carregue o seguinte arquivo de dados para a input_data no bucket do OBS mybucket02:
1

product_info2.csv

Conceda a permissão de leitura do bucket do OBS para o usuário que importará dados.

Ao importar dados do OBS para um cluster, o usuário deve ter a permissão de leitura para os buckets do OBS onde os arquivos de dados de origem estão localizados. Você pode configurar a ACL para os buckets do OBS para conceder a permissão de leitura a um usuário específico.

Para obter detalhes, consulte Configuração de uma ACL de bucket no Guia de operação de console do Object Storage Service.

Criar uma tabela estrangeira

Conecte-se ao banco de dados do GaussDB(DWS).

Crie uma tabela estrangeira.

ACCESS_KEY e SECRET_ACCESS_KEY
Esses parâmetros especificam o AK e a SK usados para acessar o OBS por um usuário. Substitua-os pelos AK e SK reais.

Para obter uma chave de acesso, faça logon no console de gerenciamento, mova o cursor para o nome de usuário no canto superior direito, clique em My Credential e clique em Access Keys no painel de navegação à esquerda. Na página Access Keys, você pode exibir os IDs de chave de acesso (AKs) existentes. Para obter o AK e a SK, clique em Create Access Key para criar e baixar uma chave de acesso.
// AK e SK codificados rigidamente ou em texto não criptografado são arriscados. Para fins de segurança, criptografe seu AK e SK e armazene-os no arquivo de configuração ou nas variáveis de ambiente.

       
        
          
          DROP FOREIGN TABLE IF EXISTS product_info_ext;
CREATE FOREIGN TABLE product_info_ext
(
    product_price                integer        not null,
    product_id                   char(30)       not null,
    product_time                 date           ,
    product_level                char(10)       ,
    product_name                 varchar(200)   ,
    product_type1                varchar(20)    ,
    product_type2                char(10)       ,
    product_monthly_sales_cnt    integer        ,
    product_comment_time         date           ,
    product_comment_num          integer        ,
    product_comment_content      varchar(200)                   
) 
SERVER gsmpp_server 
OPTIONS(
LOCATION 'obs://mybucket/input_data/product_info | obs://mybucket02/input_data/product_info',
FORMAT 'CSV' ,
DELIMITER ',',
ENCODING 'utf8',
HEADER 'false',
ACCESS_KEY 'access_key_value_to_be_replaced',
SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced',
FILL_MISSING_FIELDS 'true',
IGNORE_EXTRA_DATA 'true'
)
READ ONLY 
LOG INTO product_info_err 
PER NODE REJECT LIMIT 'unlimited';

         

       
      

Se as seguintes informações forem exibidas, a tabela estrangeira foi criada:

       
          CREATE FOREIGN TABLE

Importar dados

Crie uma tabela denominada product_info no banco de dados do GaussDB(DWS) para armazenar os dados importados do OBS.

      
       
         
         DROP TABLE IF EXISTS product_info;
CREATE TABLE product_info
(
    product_price                integer        not null,
    product_id                   char(30)       not null,
    product_time                 date           ,
    product_level                char(10)       ,
    product_name                 varchar(200)   ,
    product_type1                varchar(20)    ,
    product_type2                char(10)       ,
    product_monthly_sales_cnt    integer        ,
    product_comment_time         date           ,
    product_comment_num          integer        ,
    product_comment_content      varchar(200)                   
) 
WITH (
orientation = column,
compression=middle
) 
DISTRIBUTE BY hash (product_id);

        

      
     

Execute INSERT para importar dados do OBS para a tabela de destino product_info por meio da tabela estrangeira product_info_ext.
1

INSERT INTO product_info SELECT * FROM product_info_ext;
Execute SELECT para visualizar os dados importados do OBS para GaussDB(DWS).
1

SELECT * FROM product_info;
As seguintes informações são exibidas no final do resultado da consulta:
```
(20 rows)
```

Execute VACUUM FULL na tabela product_info.
1

VACUUM FULL product_info;
Atualize as estatísticas da tabela product_info.
1

ANALYZE product_info;

Excluir recursos

Se você tiver realizado consultas após a importação de dados, execute a instrução a seguir para excluir a tabela de destino:
1

DROP TABLE product_info;
Se a seguinte saída for exibida, a tabela estrangeira foi excluída:
```
DROP TABLE
```
Execute a instrução a seguir para excluir a tabela estrangeira:
1

DROP FOREIGN TABLE product_info_ext;
Se a seguinte saída for exibida, a tabela estrangeira foi excluída:
```
DROP FOREIGN TABLE
```

Tópico principal: Importação e exportação

Tópico anterior: Guia de prática do GDS

Próximo tópico: Tutorial: usar o GDS para importar dados de um servidor remoto

Feedback

Esta página foi útil?

Sim Não

Deixar um comentário

Obrigado por seus comentários. Estamos trabalhando para melhorar a documentação.

O sistema está ocupado. Tente novamente mais tarde.

Quais dos seguintes problemas você encontrou?

O conteúdo é inconsistente com a UI do produto

Descrições pouco claras

Falta de exemplos ou código

Passos incorretos

Não encontro o que preciso

Falta de melhores práticas

Feedback (opcional)

0/500

Selecione pelo menos um tipo de problema e insira seus comentários ou sugestões.

Insira um máximo de 500 caracteres.

Enviar Cancelar