Primeiros passos com o DWS
Depois de criar um cluster de DWS, você pode experimentar alguns Melhores práticas fornecidos pelo DWS para atender aos requisitos da sua carga de trabalho.
| Prática | Descrição | |
|---|---|---|
| Importação e exportação de dados | Esta prática demonstra como carregar dados de exemplo para o OBS e importar dados do OBS para a tabela de destino no DWS, ajudando você a aprender rapidamente como importar dados do OBS para um cluster de DWS. Você pode importar dados no formato TXT, CSV, ORC, PARQUET, CARBONDATA ou JSON do OBS para um cluster de DWS para consulta. | |
| Esta prática demonstra como usar o General Data Service (GDS) para importar dados de um servidor remoto para o DWS. DWS permite importar dados no formato TXT, CSV ou FIXED. | ||
| Exportação de dados ORC de um cluster de DWS para um cluster de MRS | O DWS permite exportar dados ORC para o MRS usando uma tabela estrangeira HDFS. Você pode especificar o modo de exportação e o formato de dados de exportação na tabela estrangeira. Os dados são exportados do DWS em paralelo usando vários DNs e armazenados no HDFS. Desta forma, o desempenho geral das exportações é melhorado. | |
| Migração de dados | Uso do CDM para migrar dados do Oracle para um cluster de DWS | Esta prática demonstra como migrar dados do Oracle para o DWS. |
| Uso de um job do Flink do DLI para sincronizar dados do Kafka com um cluster de DWS em tempo real | Esta prática demonstra como usar jobs do Flink do DLI para sincronizar dados de consumo do Kafka para o DWS em tempo real. Esta prática leva cerca de 90 minutos. Os serviços em nuvem usados nesta prática incluem Virtual Private Cloud (VPC) e sub-redes, Elastic Load Balance (ELB), Elastic Cloud Server (ECS), Object Storage Service (OBS), Distributed Message Service (DMS) para Kafka, Data Lake Insight (DLI) e DWS. | |
| Tabela de otimização | Nesta prática, você aprenderá como otimizar o design de suas tabelas. Você começará criando tabelas sem especificar seu modo de armazenamento, chave de distribuição, modo de distribuição ou modo de compactação. Carregar dados de teste nessas tabelas e teste o desempenho do sistema. Em seguida, siga excelentes práticas para criar as tabelas novamente usando novos modos de armazenamento, chaves de distribuição, modos de distribuição e modos de compactação. Carregar os dados de teste e teste o desempenho novamente. Comparar os dois resultados do teste para descobrir como o design da tabela afeta o espaço de armazenamento e o desempenho de carregamento e consulta das tabelas. Tempo estimado: 60 minutos | |
| Recursos avançados | À medida que os dados crescem em cenários de Big Data massivo, as necessidades de armazenamento e o uso de recursos aumentam rapidamente. A necessidade de dados pode variar em diferentes períodos, portanto, os dados são gerenciados de maneira hierárquica, melhorando o desempenho da análise de dados e reduzindo os custos do serviço. Em alguns cenários de uso de dados, os dados podem ser classificados em dados quentes e dados frios acessando a frequência. | |
| Melhores práticas para gerenciamento automático de partições | Para tabelas de partição cujas colunas de partição são baseadas em tempo, a função de gerenciamento automático de partição pode ser adicionada para criar automaticamente partições e excluir partições expiradas, reduzindo os custos de manutenção da tabela de partição e melhorando o desempenho da consulta. Para facilitar a consulta e a manutenção de dados, a coluna de tempo é frequentemente usada como a coluna de partição de uma tabela particionada que armazena dados relacionados ao tempo, como informações de pedidos de comércio eletrônico e dados de IoT em tempo real. Quando os dados relacionados ao tempo são importados para uma tabela particionada, a tabela deve ter partições dos intervalos de tempo correspondentes. Tabelas de partições comuns não criam automaticamente novas partições nem excluem partições expiradas. Portanto, o pessoal de manutenção precisa criar periodicamente novas partições e excluir partições expiradas, levando ao aumento dos custos de O&M. Para resolver isso, o DWS introduz o recurso de gerenciamento automático de partições. Você pode definir os parâmetros de nível de tabela period e ttl para ativar a função de gerenciamento automático de partições, que cria automaticamente partições e exclui partições expiradas, reduzindo os custos de manutenção de tabelas particionadas e melhorando o desempenho das consultas. | |
| Gerenciamento de banco de dados | Esta prática demonstra como usar o DWS para gerenciamento de recursos, ajudando as empresas a eliminar gargalos em consultas simultâneas. Os trabalhos de SQL podem ser executados sem problemas sem afetar uns aos outros e consumir menos recursos do que antes. | |
| Com base num grande número de mecanismos e práticas de execução SQL, podemos otimizar instruções SQL seguindo certas regras para executar instruções SQL mais rapidamente e obter resultados corretos. | ||
| Esta prática inclui os seguintes casos de distorção de armazenamento:
| ||
| Um cluster do DWS consiste principalmente em administradores de sistema e usuários comuns. Esta prática descreve as permissões de administradores de sistema e usuários comuns e descreve como criar usuários e consultar informações do usuário. | ||
| Esta prática demonstra alguns casos básicos de consulta de banco de dados:
| ||
| Análise de dados de amostra | Esta prática demonstra como analisar veículos que passaram por pontos de verificação de tráfego. O processo envolve o carregamento de 890 milhões de dados desses pontos de verificação numa única tabela de banco de dados no DWS para consultas precisas e difusas. É um ótimo exemplo de como o DWS pode lidar com consultas de alto desempenho de dados históricos. | |
| Análise de requisitos da cadeia de suprimentos (conjunto de dados TPC-H) | Esta prática demonstra como carregar o conjunto de dados de amostra do OBS para um cluster de DWS e executar consultas de dados. Ele compreende análise de várias tabelas e análise de temas em cenários de análise de dados. | |
| Análise do status de operações de uma loja de departamentos de varejo | Nesta prática, os dados de negócios diários de cada loja de varejo são carregados do OBS para a tabela correspondente no cluster de armazém de dados para resumir e consultar KPIs. Esses dados incluem a rotatividade da loja, o fluxo de clientes, a classificação mensal de vendas, a taxa de conversão mensal do fluxo de clientes, índice mensal de preço-aluguel e as vendas por unidade de área. Esta prática demonstra a consulta e análise multidimensional do DWS em cenários de varejo. | |
| Segurança de dados | A criptografia de dados é amplamente utilizada em sistemas de informação para evitar acesso não autorizado e vazamento de dados. Como o núcleo de um sistema de informação, o armazém de dados do DWS também fornece criptografia transparente e criptografia usando funções SQL. Esta seção descreve a criptografia de função SQL. | |
