Criação rápida de um cluster de DWS e importação de dados para consulta

Cenário

DWS é um serviço de armazém de dados em nuvem totalmente gerenciado e de nível empresarial. Ele é livre de O&M, compatível com o ecossistema PostgreSQL e oferece suporte à expansão de cluster online e ao carregamento eficiente de várias fontes de dados. Ele ajuda as empresas a analisar e monetizar com eficiência grandes quantidades de dados online.

Esta seção descreve como criar um cluster de DWS com três nós e importar dados CSV de um bucket do OBS para realizar uma análise e consulta de dados simples.

O cluster de DWS não oferece suporte ao acesso entre regiões aos dados do bucket do OBS. Antes de criar um cluster de DWS, verifique se o cluster e o bucket do OBS estão na mesma região. Use CN-Hong Kong como exemplo.

• Modo de Cobrança: Pagamento por uso
• Versão: Armazenamento e computação acoplados
• Nós: 3 nós
• Modo de conexão do cluster: Editor SQL
• Capacidade de armazenamento: 20 GB/nó
• Fonte de dados: dados CSV no bucket do OBS
• Versão do cluster: 8.1.3.x

Procedimento

Preparações

• Crie uma conta de DWS, conclua a autenticação do nome real e verifique o status da conta antes de usar o DWS. A conta não pode estar em atraso ou congelada.
• Obtenha o AK/SK da conta. Para obter detalhes, consulte Chaves de acesso.
• Crie uma VPC e recursos de sub-rede.

Passo 1: Criação de um cluster de DWS

1. Faça login no console do DWS e vá para a página Create DWS Cluster.
2. Configure os parâmetros de acordo com Tabela 2.

   Tabela 2 Configurações de parâmetros

   Parâmetro	Exemplo de valor	Descrição
   Região	Selecione a região CN-Hong Kong. NOTA: Este guia usa CN-Hong Kong como exemplo. Se você quiser selecionar outra região, certifique-se de que outros serviços em nuvem estejam na mesma região.	Para menor latência de rede e acesso mais rápido aos recursos, selecione a região mais próxima. Depois que um cluster de DWS é criado, a região não pode ser alterada. Tenha cuidado ao selecionar uma região. Para obter mais informações, consulte Regiões e AZs.
   Modo de cobrança	Pagamento por uso	Os modos de cobrança anual/mensal e pagamento por uso são suportados. Para uso de longo prazo, é recomendável optar pelo modo de cobrança anual ou mensal para obter um desconto maior. Para obter mais informações, consulte Visão geral de cobrança.
   AZ	Escolha AZ1 para criar um cluster de AZ única. (Se o flavor estiver esgotado, selecione outra AZ.)	AZ única: todos os nós de um cluster são implementados na mesma AZ. Várias AZs: para obter HA em várias AZs, implemente nós de cluster em diferentes AZs. Para serviços que exigem HA ainda maior, recomenda-se uma configuração multi-AZ.

   Figura 1 Configurações básicas
   

3. A Tabela 3 lista os parâmetros de armazém de dados necessários.

   Tabela 3 Parâmetros de armazém de dados

   Parâmetro	Exemplo de valor	Descrição
   Version	Armazenamento e computação acoplados	Armazenamento e computação acoplados: os dados são armazenados em discos locais de nós de computação. Armazenamento e computação desacoplados: discos locais de DN são usados apenas para cache de dados e armazenamento de metadados, e os dados do usuário são armazenados no OBS.
   Storage Type	SSD em nuvem	SSD em nuvem: Discos SSD EVS servem como mídia de armazenamento de dados, oferecendo capacidade de armazenamento flexível e suporte a scale-out de disco. SSD locais: Discos locais em flavors de ECS servem como mídia de armazenamento de dados, oferecendo capacidade fixa e desempenho superior. No entanto, o dimensionamento horizontal de disco não é suportado. Para obter mais informações, consulte Quais são as diferenças entre SSDs em nuvem e SSDs locais?
   Node Flavor	dwsx2.xlarge NOTA: Se esse flavor estiver esgotado, selecione outras AZs ou flavors.	Os flavors de nó medem o poder de computação do DWS, incluindo arquitetura de CPU, vCPUs, memória, tipo de computação e tipo de implementação. Você precisa selecionar os flavors de nó conforme necessário. Normalmente, um desempenho de consulta mais alto requer flavors de nó maiores. Para obter mais informações, consulte Flavors do armazenamento de dados.
   Hot Storage	20 GB por nó	Capacidade de armazenamento disponível de cada nó. A página exibe a capacidade de armazenamento real para o serviço, como 20 GB por nó com um total de 3 nós resultando em uma capacidade total de dados de serviço de 60 GB. Clientes com uma grande quantidade de dados de serviço devem planejar sua capacidade de armazenamento de acordo.
   Nodes	3	Número de nós de cluster. O número de nós varia de 3 a 256.

   Figura 2 Configuração do armazenamento de Dados
   

4. Configure os parâmetros de acordo com Tabela 4.

   Tabela 4 Parâmetros de configuração de rede

   Parâmetro	Exemplo de valor	Descrição
   VPC	vpc-default	VPC onde o DWS está localizado.
   Subnet	subnet-default(192.168.0.0/24)	Sub-rede da VPC.
   Security Group	Automatic creation	Você pode selecionar Automatic creation ou escolher um grupo de segurança criado. A opção padrão é Automatic creation, o que significa que o sistema criará um grupo de segurança automaticamente se você não alterar a configuração. A regra do grupo de segurança padrão é a seguinte: a saída permite todas as solicitações de acesso, enquanto a entrada é aberta apenas para a porta de banco de dados 8000 que você definiu para se conectar ao cluster de DWS.
   EIP	Do not use	Se o cliente conectado ao DWS e o cluster de DWS não estiverem na mesma VPC, use um EIP.
   ELB	Do not use	Se o endereço IP privado ou EIP de um CN for usado para se conectar a um cluster, a falha desse CN levará à falha de conexão do cluster. As verificações de integridade do ELB permitem o encaminhamento rápido de solicitações de CN para nós íntegros num cluster, minimizando falhas de acesso em caso de um CN com defeito. Isso garante que a carga de trabalho seja imediatamente transferida para um nó íntegro. Para obter mais informações, consulte Associação e Desassociação de ELB.

   Figura 3 Configuração de rede
   

5. Configure o cluster consultando Tabela 5.

   Tabela 5 Configuração de gerenciamento de cluster

   Parâmetro	Exemplo de valor	Descrição
   Cluster Name	dws-demo	Nome do cluster, definido pelo usuário e que pode ser modificado posteriormente.
   Cluster Version	Use the recommended version	Cada versão oferece suporte a diferentes funções de banco de dados. Por padrão, a versão recomendada é selecionada. Para usar as funções de uma versão posterior, selecione uma versão posterior. NOTA: Na página de cliente da lista branca, outras versões de cluster são exibidas. Selecione uma versão de cluster com base nos requisitos do site. Para obter detalhes sobre as funções suportadas por cada versão de cluster, consulte Aviso do produto.
   Time Zone	Use default time zone	Fuso horário padrão do cluster.
   Enterprise Project	default	Este parâmetro é exibido apenas quando uma conta empresarial é usada para criar um cluster de DWS. Ele permite o gerenciamento unificado de recursos de nuvem por projeto.
   Tags	-	No DWS, depois de criar um cluster, você pode adicionar identificadores a itens como o nome do projeto, tipo de serviço e informações de fundo usando tags. Se você usar tags em outros serviços de nuvem, é recomendável criar os mesmos pares de chave-valor de tag para recursos de nuvem usados pela mesma carga de trabalho para manter a consistência.

   Figura 4 Configurações avançadas
   

6. Configure o banco de dados consultando Tabela 6.

   Tabela 6 Gerenciamento de banco de dados, criptografia de banco de dados e mais configurações

   Parâmetro	Exemplo de valor	Descrição
   Administrator Account	dbadmin	Nome de usuário do administrador do sistema do banco de dados. Mantenha o valor padrão. O administrador do sistema do banco de dados recebe o atributo SYSADMIN por padrão. Se o recurso de separação de permissões não estiver habilitado, o administrador terá as permissões do banco de dados mais altas. Isso permite que eles planejem objetos de banco de dados, criem bancos de dados e usuários e autorizem funções de usuário. Para obter mais informações, consulte Usuários do banco de dados.
   Administrator Password	-	Senha do administrador do sistema do banco de dados.
   Confirm Password	-	Insira a senha novamente para confirmar.
   Database Port	8000	Porta para o cliente se conectar ao banco de dados do DWS. Mantenha o valor padrão 8000.
   Encrypt DataStore	-	Se essa função estiver habilitada, o Key Management Service (KMS) criptografa o cluster e os dados de snapshot do cluster.
   More Configurations	-	CNs: Em um cluster de grande escala, é recomendável implementar vários CNs. IPv6 CIDR Block: Especifique se deseja habilitar a pilha dupla IPv6 para o cluster. Se IPv6 for selecionado, um cliente ou aplicação poderá se conectar ao banco de dados usando um endereço IPv6.

7. Na área Configuration Summary à direita da página, confirme as configurações e clique em Buy Now.

   A criação do cluster leva cerca de 10 minutos. Clusters no estado Available estão prontos para uso.

Passo 2: Carregamento de dados para o OBS

1. Crie um bucket do OBS. Para mais detalhes, consulte Guia do Usuário do OBS.

   Defina os parâmetros principais da seguinte forma e mantenha os valores padrão para outros parâmetros.

   

   O acesso entre regiões aos dados do bucket do OBS não é suportado. O bucket do OBS deve ser criado na mesma região que o cluster do DWS. Selecione CN-Hong Kong.

   • Region: Selecione a CN-Hong Kong região.
   • Nome do Bucket: dws-obs01 (Se ocorrer um conflito, modifique o número no nome para 02, 03 ou um número maior)
   • Política do Bucket: Privado.

2. Após a criação do bucket do OBS, clique no nome do bucket do dws-obs01 recém-criado na lista de buckets. No painel de navegação, escolha Objects e clique em Create Folder. Defina o nome da pasta como input_data e clique em OK.
   Figura 5 Criação de uma pasta
   

3. Crie três arquivos de dados CSV no PC local. Os nomes dos arquivos (incluindo a extensão do nome do arquivo) são product_info0.csv, product_info1.csv e product_info2.csv.
   Figura 6 Criação de um arquivo test.csv
   

4. Use um editor de texto para abrir os três arquivos CSV e copiar o seguinte conteúdo para cada arquivo CSV.
   • product_info0.csv:

     1 2 3 4 5

     100,XHDK-A,2017-09-01,A,2017 Shirt Women,red,M,328,2017-09-04,715,good! 205,KDKE-B,2017-09-01,A,2017 T-shirt Women,pink,L,584,2017-09-05,40,very good! 300,JODL-X,2017-09-01,A,2017 T-shirt men,red,XL,15,2017-09-03,502,Bad. 310,QQPX-R,2017-09-02,B,2017 jacket women,red,L,411,2017-09-05,436,It's nice. 150,ABEF-C,2017-09-03,B,2017 Jeans Women,blue,M,123,2017-09-06,120,good.

   • product_info1.csv:

     1 2 3 4 5

     200,BCQP-E,2017-09-04,B,2017 casual pants men,black,L,997,2017-09-10,301,good quality. 250,EABE-D,2017-09-10,A,2017 dress women,black,S,841,2017-09-15,299,This dress fits well. 108,CDXK-F,2017-09-11,A,2017 dress women,red,M,85,2017-09-14,22,It's really amazing to buy. 450,MMCE-H,2017-09-11,A,2017 jacket women,white,M,114,2017-09-14,22,very good. 260,OCDA-G,2017-09-12,B,2017 woolen coat women,red,L,2004,2017-09-15,826,Very comfortable.

   • product_info2.csv:

     1 2 3 4 5 6 7 8 9 10

     980,"ZKDS-J",2017-09-13,"B","2017 Women's Cotton Clothing","red","M",112,,, 98,"FKQB-I",2017-09-15,"B","2017 new shoes men","red","M",4345,2017-09-18,5473 50,"DMQY-K",2017-09-21,"A","2017 pants men","red","37",28,2017-09-25,58,"good","good","good" 80,"GKLW-l",2017-09-22,"A","2017 Jeans Men","red","39",58,2017-09-25,72,"Very comfortable." 30,"HWEC-L",2017-09-23,"A","2017 shoes women","red","M",403,2017-09-26,607,"good!" 40,"IQPD-M",2017-09-24,"B","2017 new pants Women","red","M",35,2017-09-27,52,"very good." 50,"LPEC-N",2017-09-25,"B","2017 dress Women","red","M",29,2017-09-28,47,"not good at all." 60,"NQAB-O",2017-09-26,"B","2017 jacket women","red","S",69,2017-09-29,70,"It's beautiful." 70,"HWNB-P",2017-09-27,"B","2017 jacket women","red","L",30,2017-09-30,55,"I like it so much" 80,"JKHU-Q",2017-09-29,"C","2017 T-shirt","red","M",90,2017-10-02,82,"very good."

5. Use um editor de texto para converter o formato de codificação para UTF-8 e salvar o arquivo.
6. Retorne ao console do OBS e clique no nome do bucket do dws-obs01 recém-criado na lista de buckets.
7. No painel de navegação, escolha Objects e clique na pasta input_data.
8. Clique em Upload Object e, em seguida, clique em Add File.
9. Carregue os arquivos product_info0.csv, product_info1.csv e product_info2.csv no bucket do OBS.

Passo 3: Conexão ao cluster de DWS e importação de dados para análise

1. Acesse o console do DWS.
2. Na árvore de navegação à esquerda, escolha Data > SQL Editor e clique em Add Data Source.
3. Insira as informações de conexão do banco de dados.
   • Data Source: Insira dws-demo-01.
   • Cluster: Selecione o cluster do dws-demo criado.
   • Database: Mantenha o valor padrão gaussdb.
   • Username: Insira dbadmin.
   • Password: Insira a senha definida durante a criação do DWS no Passo 1: Criação de um cluster de DWS.

4. Selecione Remember password e clique em Test Connection.
   Figura 7 Informações de conexão do banco de dados
   

5. Clique em OK.

   O ícone verde antes do nome da fonte de dados na figura a seguir indica que o banco de dados está conectado. O painel direito é a janela do editor SQL, onde você pode escrever e executar instruções SQL.

   Figura 8 Conexão de banco de dados bem-sucedida
   
   

   Se a sessão de conexão expirar ou o navegador for atualizado, aparecerá em cinza, indicando que a conexão foi desconectada. Para reconectar ao banco de dados, clique duas vezes no nome da fonte de dados.

   

6. Copie a seguinte instrução SQL para a janela do editor SQL e substitua o nome do bucket do OBS, o valor AK e o valor SK pelos valores reais.

   Neste documento, o nome do bucket do OBS é dws-obs01. Obtenha o AK e o SK em Chaves de Acesso.

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

   CREATE FOREIGN TABLE product_info_ext ( product_price integer not null, product_id char(30) not null, product_time date, product_level char(10), product_name varchar(200), product_type1 varchar(20), product_type2 char(10), product_monthly_sales_cnt integer, product_comment_time date, product_comment_num integer, product_comment_content varchar(200) ) SERVER gsmpp_server OPTIONS ( LOCATION'obs://OBS bucket name/input_data/', FORMAT 'CSV' , DELIMITER ',', ENCODING 'utf8', HEADER 'false', ACCESS_KEY 'AK value', SECRET_ACCESS_KEY 'SK value', FILL_MISSING_FIELDS 'true', IGNORE_EXTRA_DATA 'true' ) READ ONLY LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited';

   Figura 9 Criação de uma tabela estrangeira do OBS
   

7. Verifique se a instrução SQL está correta e clique em Running:. A tabela estrangeira do OBS é criada.
   Figura 10 Criação bem-sucedida
   

8. Copie a seguinte instrução SQL e execute-a na janela SQL para criar uma tabela comum.

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

   CREATE TABLE product_info ( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) WITH ( orientation = column, compression=middle ) DISTRIBUTE BY hash (product_id);

9. Copie a seguinte instrução SQL e execute-a na janela SQL. Execute a instrução INSERT para importar os dados da tabela estrangeira do OBS para o banco de dados do DWS.

   1	INSERT INTO product_info SELECT * FROM product_info_ext;

10. Copie as seguintes instruções SQL e execute-as na janela SQL para realizar as operações VACUUM e ANALYZE.

    Para obter detalhes sobre a sintaxe, consulte a seção de sintaxe SQL relacionada.

    1 2	VACUUM FULL product_info; ANALYZE product_info;

11. Copie a seguinte instrução SQL e execute-a na janela SQL. Os detalhes dos dados são consultados com sucesso.

    1	SELECT * FROM product_info;

    Figura 11 Consulta bem-sucedida