Tutorial: importar fontes de dados do GaussDB(DWS) remotas

Procedimento geral

Essa prática leva cerca de 40 minutos. O processo básico é o seguinte:

1. Preparativos
2. Criar um ECS
3. Criar um cluster e baixar o pacote de ferramentas
4. Importar fontes de dados usando o GDS
5. Importar dados do GaussDB(DWS) remoto usando uma tabela estrangeira

Preparativos

Você registrou uma conta da Huawei e ativou a Huawei Cloud. A conta não pode estar em atraso ou congelada.

Criar um ECS

Para obter detalhes, consulte Compra de um ECS. Após a compra de um ECS, faça logon no ECS consultando Efetuar logon em um ECS de Linux.

Ao criar um ECS, verifique se o ECS e os clusters do GaussDB(DWS) a serem criados estão na mesma sub-rede da VPC e na mesma região e AZ . O SO do ECS é o mesmo do cliente de gsql ou GDS (o CentOS 7.6 é usado como exemplo) e a senha é usada para logon.

Criar um cluster e baixar o pacote de ferramentas

1. Faça logon no console de gerenciamento da Huawei Cloud.
2. Escolha Service List > Analytics > Data Warehouse Service. Na página exibida, clique em Create Cluster no canto superior direito.
3. Configure parâmetros de acordo com Tabela 1.

   Tabela 1 Configuração de software

   Parâmetro	Configuração
   Region	Selecione CN-Hong Kong . NOTA: CN-Hong Kong é usado como exemplo. Você pode selecionar outras regiões, conforme necessário. Certifique-se de que todas as operações sejam realizadas na mesma região. Verifique se o GaussDB(DWS) e o ECS estão na mesma região, AZ e sub-rede da VPC.
   AZ	AZ2
   Resource	Armazém de dados padrão
   Compute Resource	ECS
   Storage Type	SSD em nuvem
   CPU Architecture	x86
   Node Flavor	dws2.m6.4xlarge.8 (16 vCPUs | 128 GB | 2000 GB SSD) NOTA: Se esse flavor estiver esgotado, selecione outras AZs ou flavors.
   Hot Storage	100 GB/nó
   Nodes	3
   Cluster Name	dws-demo01
   Administrator Account	dbadmin
   Administrator Password	Senha definida pelo usuário
   Confirm Password	Senha
   Database Port	8000
   VPC	vpc-default
   Subnet	subnet-default(192.168.0.0/24) AVISO: Verifique se o cluster e o ECS estão na mesma sub-rede da VPC.
   Security Group	Automatic creation
   EIP	Buy now
   Bandwidth	1 Mbit/s
   Advanced Settings	Padrão

4. Confirme as informações, clique em Next e, em seguida, clique em Submit.
5. Aguarde cerca de 10 minutos. Depois que o cluster for criado, clique no nome do cluster para ir para a página Basic Information. Escolha Network, clique em um nome de grupo de segurança e verifique se uma regra de grupo de segurança foi adicionada. Neste exemplo, o endereço IP do cliente é 192.168.0.x (o endereço IP da rede privada do ECS onde o gsql está localizado é 192.168.0.90). Portanto, você precisa adicionar uma regra de grupo de segurança na qual o endereço IP é 192.168.0.0/24 e o número da porta é 8000.
6. Retorne à guia Basic Information do cluster e registre o valor de Private Network IP Address.

   

7. Retorne à página inicial do console do GaussDB(DWS). Escolha Connections no painel de navegação à esquerda, selecione o SO do ECS (por exemplo, selecione Redhat x86_64 para CentOS 7.6) e clique em Download para salvar o pacote de ferramentas no host local. O pacote de ferramentas contém o cliente de gsql e o GDS.

   

8. Repita 1 a 6 para criar um segundo cluster do GaussDB(DWS) e defina seu nome como dws-demo02.

Preparar dados de origem

1. Crie os três arquivos CSV a seguir no diretório especificado no PC local:
   • Arquivo de dados product_info0.csv

     1 2 3 4 5

     100,XHDK-A,2017-09-01,A,2017 Shirt Women,red,M,328,2017-09-04,715,good! 205,KDKE-B,2017-09-01,A,2017 T-shirt Women,pink,L,584,2017-09-05,40,very good! 300,JODL-X,2017-09-01,A,2017 T-shirt men,red,XL,15,2017-09-03,502,Bad. 310,QQPX-R,2017-09-02,B,2017 jacket women,red,L,411,2017-09-05,436,It's nice. 150,ABEF-C,2017-09-03,B,2017 Jeans Women,blue,M,123,2017-09-06,120,good.

   • Arquivo de dados product_info1.csv

     1 2 3 4 5

     200,BCQP-E,2017-09-04,B,2017 casual pants men,black,L,997,2017-09-10,301,good quality. 250,EABE-D,2017-09-10,A,2017 dress women,black,S,841,2017-09-15,299,This dress fits well. 108,CDXK-F,2017-09-11,A,2017 dress women,red,M,85,2017-09-14,22,It's really amazing to buy. 450,MMCE-H,2017-09-11,A,2017 jacket women,white,M,114,2017-09-14,22,very good. 260,OCDA-G,2017-09-12,B,2017 woolen coat women,red,L,2004,2017-09-15,826,Very comfortable.

   • Arquivo de dados product_info2.csv

     1 2 3 4 5 6 7 8 9 10

     980,"ZKDS-J",2017-09-13,"B","2017 Women's Cotton Clothing","red","M",112,,, 98,"FKQB-I",2017-09-15,"B","2017 new shoes men","red","M",4345,2017-09-18,5473 50,"DMQY-K",2017-09-21,"A","2017 pants men","red","37",28,2017-09-25,58,"good","good","good" 80,"GKLW-l",2017-09-22,"A","2017 Jeans Men","red","39",58,2017-09-25,72,"Very comfortable." 30,"HWEC-L",2017-09-23,"A","2017 shoes women","red","M",403,2017-09-26,607,"good!" 40,"IQPD-M",2017-09-24,"B","2017 new pants Women","red","M",35,2017-09-27,52,"very good." 50,"LPEC-N",2017-09-25,"B","2017 dress Women","red","M",29,2017-09-28,47,"not good at all." 60,"NQAB-O",2017-09-26,"B","2017 jacket women","red","S",69,2017-09-29,70,"It's beautiful." 70,"HWNB-P",2017-09-27,"B","2017 jacket women","red","L",30,2017-09-30,55,"I like it so much" 80,"JKHU-Q",2017-09-29,"C","2017 T-shirt","red","M",90,2017-10-02,82,"very good."

2. Efetue logon no ECS criado como usuário root e execute o seguinte comando para criar um diretório de arquivos de origem de dados:

   mkdir -p /input_data

3. Use uma ferramenta de transferência de arquivos para carregar os arquivos de dados anteriores para o diretório /input_data do ECS.

Importar fontes de dados usando o GDS

1. Faça logon no ECS como usuário root e use uma ferramenta de transferência de arquivos para carregar o pacote de ferramentas baixado em 7 ao diretório /opt.
2. Descompacte o pacote de ferramentas no diretório /opt.

   cd /opt

   unzip dws_client_8.1.x_redhat_x64.zip

3. Crie um usuário do GDS e altere os proprietários da fonte de dados e dos diretórios do GDS.

   groupadd gdsgrp

   useradd -g gdsgrp gds_user

   chown -R gds_user:gdsgrp /opt/gds

   chown -R gds_user:gdsgrp /input_data

4. Mude para o usuário gds_user.

   su - gds_user

5. Importe as variáveis de ambiente do GDS.
   

   Esta etapa é necessária apenas para 8.1.x ou posterior. Para versões anteriores, pule esta etapa.

   cd /opt/gds/bin

   source gds_env

6. Inicie o GDS.

   /opt/gds/bin/gds -d /input_data/ -p 192.168.0.90:5000 -H 192.168.0.0/24 -l /opt/gds/gds_log.txt -D

   • -d dir: diretório para armazenar arquivos de dados que contêm dados a serem importados. Esta prática usa /input_data/ como um exemplo.
   • -p ip:port: endereço IP de escuta e porta para GDS. Defina este parâmetro para o endereço IP da rede privada do ECS onde o GDS está instalado para que o GDS possa se comunicar com o GaussDB (DWS). Neste exemplo, 192.168.0.90:5000 é usado.
   • -H address_string: hosts que têm permissão para se conectar e usar o GDS. O valor deve estar no formato CIDR. Neste exemplo, o segmento de rede do endereço IP da rede privada do GaussDB(DWS) é usado.
   • -l log_file: diretório de log do GDS e nome do arquivo de log. Neste exemplo, /opt/gds/gds_log.txt é usado.
   • -D: GDS em modo daemon.

7. Conecte-se ao primeiro cluster do GaussDB(DWS) usando gsql.
   1. Execute o comando exit para alternar para o usuário root, vá para o diretório /opt do ECS e importe as variáveis de ambiente do gsql.

      exit

      cd /opt

      source gsql_env.sh

   2. Vá para o diretório /opt/bin e conecte-se ao primeiro cluster do GaussDB(DWS) usando gsql.

      cd /opt/bin

      gsql -d gaussdb -h 192.168.0.8 -p 8000 -U dbadmin -W password -r

      • -d: nome do banco de dados conectado. Neste exemplo, o banco de dados padrão gaussdb é usado.
      • -h: endereço IP da rede privada do banco de dados do GaussDB(DWS) conectado consultado em 6. Neste exemplo, 192.168.0.8 é usado.
      • -p: porta do GaussDB(DWS). O valor é 8000.
      • -U: administrador do banco de dados. O valor padrão é dbadmin.
      • -W: senha do administrador, que é definida durante a criação do cluster em 3. Neste exemplo, substitua password pela senha real.

8. Crie um usuário comum leo e conceda ao usuário a permissão para criar tabelas estrangeiras.

   1 2	CREATE USER leo WITH PASSWORD 'password'; ALTER USER leo USEFT;

9. Mude para o usuário leo e crie uma tabela estrangeira do GDS.
   

   Defina LOCATION como o endereço IP de escuta do GDS e o número da porta obtidos em 6, por exemplo, gsfs://192.168.0.90:5000/*.

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

   SET ROLE leo PASSWORD 'password'; DROP FOREIGN TABLE IF EXISTS product_info_ext; CREATE FOREIGN TABLE product_info_ext ( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) SERVER gsmpp_server OPTIONS( LOCATION 'gsfs://192.168.0.90:5000/*', FORMAT 'CSV' , DELIMITER ',', ENCODING 'utf8', HEADER 'false', FILL_MISSING_FIELDS 'true', IGNORE_EXTRA_DATA 'true' ) READ ONLY LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited';

10. Crie uma tabela local.

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

    DROP TABLE IF EXISTS product_info; CREATE TABLE product_info ( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) WITH ( orientation = column, compression=middle ) DISTRIBUTE BY hash (product_id);

11. Importe dados da tabela estrangeira do GDS e verifique se os dados foram importados com êxito.

    1 2	INSERT INTO product_info SELECT * FROM product_info_ext ; SELECT count(*) FROM product_info;

Importar dados do GaussDB(DWS) remoto usando uma tabela estrangeira

1. Conecte-se ao segundo cluster no ECS fazendo referência a 7. Altere o endereço de conexão para o endereço do segundo cluster. Neste exemplo, 192.168.0.86 é usado.
2. Crie um usuário comum jim e conceda ao usuário a permissão para criar tabelas e servidores estrangeiros. O valor de FOREIGN DATA WRAPPER é gc_fdws.

   1 2 3

   CREATE USER jim WITH PASSWORD 'password'; ALTER USER jim USEFT; GRANT ALL ON FOREIGN DATA WRAPPER gc_fdw TO jim;

3. Mude para o usuário jim e crie um servidor.

   1 2 3 4 5 6 7

   SET ROLE jim PASSWORD 'password'; CREATE SERVER server_remote FOREIGN DATA WRAPPER gc_fdw OPTIONS (address '192.168.0.8:8000,192.168.0.158:8000' , dbname 'gaussdb', username 'leo', password 'password' );

   • address: endereços IP de rede privada e número de porta do primeiro cluster obtido em 6. Neste exemplo, 192.168.0.8:8000 e 192.168.0.158:8000 são usados.
   • dbname: nome do banco de dados do primeiro cluster conectado. Neste exemplo, gaussdb é usado.
   • username: nome do usuário do primeiro cluster conectado. Neste exemplo, leo é usado.
   • password: senha do usuário

4. Crie uma tabela estrangeira.
   

   As colunas e as restrições da tabela estrangeira devem ser consistentes com as da tabela a ser acessada.

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

   CREATE FOREIGN TABLE region ( product_price integer , product_id char(30) , product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) SERVER server_remote OPTIONS ( schema_name 'leo', table_name 'product_info', encoding 'utf8' );

   • SERVER: nome do servidor criado no passo anterior. Neste exemplo, server_remote é usado.
   • schema_name: nome do esquema do primeiro cluster a ser acessado. Neste exemplo, leo é usado.
   • table_name: nome da tabela do primeiro cluster a ser acessado obtido em 10. Neste exemplo, product_info é usado.
   • encoding: o valor deve ser o mesmo do primeiro cluster obtido em 9. Neste exemplo, utf8 é usado.

5. Visualize o servidor criado e a tabela estrangeira.

   1 2	\des+ server_remote \d+ region

6. Crie uma tabela local.
   

   As colunas e restrições da tabela devem ser consistentes com as da tabela a ser acessada.

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

   CREATE TABLE local_region ( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) WITH ( orientation = column, compression=middle ) DISTRIBUTE BY hash (product_id);

7. Importe dados para a tabela local usando a tabela estrangeira.

   1 2	INSERT INTO local_region SELECT * FROM region; SELECT * FROM local_region;

8. Consulte a tabela estrangeira sem importar dados.

   1	SELECT * FROM region;