Funções

Armazéns de dados de nível empresarial e compatibilidade com SQL padrão

Depois que um cluster de armazém de dados é criado, você pode usar o cliente de SQL para se conectar ao cluster e executar operações como criar um banco de dados, gerenciar o banco de dados, importar e exportar dados e consultar dados.

GaussDB(DWS) fornece bancos de dados de alto desempenho em nível de petabytes (nível PB) com os seguintes recursos:

• Estrutura de computação MPP, armazenamento híbrido de coluna de linha e execução vetorizada, permitindo a resposta à análise de correlação de dados de bilhões de níveis em segundos
• Computação em memória otimizada baseada em Hash Join do Bloom Filter, melhorando o desempenho de 2 a 10 vezes

• Comunicação otimizada entre clusters de grande escala com base em tecnologias de telecomunicações, melhorando a eficiência da transmissão de dados entre nós de computação
• Otimizadores inteligentes baseados em custo, ajudando a gerar o plano ideal com base na escala do cluster e no volume de dados para melhorar a eficiência da execução

GaussDB(DWS) tem capacidades de SQL abrangentes:

• Suporta padrões SQL 92 e SQL 2003, procedimentos armazenados, conjuntos de caracteres GBK e UTF-8 e funções padrão SQL e funções de análise OLAP.
• Compatível com o ecossistema de PostgreSQL e oferece suporte à interconexão com ferramentas tradicionais de ETL e BI de banco de dados fornecidas por terceiros.
• Suporta bitmaps rugindo e funções comuns usadas com eles, que são amplamente utilizados para a extração de recursos do usuário, perfil de usuário e mais aplicações na Internet, varejo, educação e indústrias de jogos.
• Particionamento de lista (PARTITION BY LIST (partition_key,[...])) e particionamento de intervalos são suportados.
• Oferece suporte para tabelas externas HDFS e OBS somente leitura no formato de arquivo JSON.
• As permissões nos catálogos do sistema podem ser concedidas a usuários comuns. A permissão VACUUM pode ser concedida separadamente. Funções com permissões pré-definidas e extensíveis são suportadas, incluindo:
  • Permissões ALTER, DROP e VACUUM no nível da tabela
  • Permissões ALTER e DROP no nível do esquema
  • Funções predefinidas role_signal_backend e role_read_all_stats

Para obter detalhes sobre a sintaxe SQL e a orientação de operação do banco de dados, consulte o Guia de desenvolvedor do Data Warehouse Service (DWS).

Gerenciamento de cluster

Um cluster de armazém de dados contém nós com o mesmo sabor na mesma sub-rede. Esses nós fornecem serviços em conjunto. GaussDB(DWS) fornece um console de gerenciamento profissional, eficiente e centralizado, permitindo que você se inscreva rapidamente em clusters, gerencie facilmente armazéns de dados e se concentre em dados e serviços.

As principais funções do gerenciamento de clusters são descritas a seguir:

• Criar clusters

  Para usar os serviços de armazém de dados na nuvem, crie um cluster de GaussDB(DWS) primeiro. Você pode selecionar especificações de produto e nó para criar rapidamente um cluster. Você também pode comprar um anual/mensal para criar um cluster.

• Gerenciar snapshots

  Um snapshot é um backup completo que registra dados de configuração pontual e dados de serviço de um cluster de GaussDB(DWS). Um snapshot pode ser usado para restaurar um cluster em um determinado momento. Você pode criar snapshots manualmente para um cluster ou ativar a criação automática de snapshot (periódico). Os snapshots automatizados têm um período de retenção limitado. Você pode copiar snapshots automáticos para retenção de longo prazo.

  Quando você restaura um cluster a partir de um snapshot, o sistema cria um novo cluster com o mesmo sabor e quantidade de nó que o original e importa os dados do snapshot.

  Você pode excluir snapshots que não são mais necessários para liberar o espaço de armazenamento.

• Gerenciar nós

  Você pode verificar os nós em um cluster, incluindo o status, as especificações e o uso de cada nó. Para se preparar para uma grande expansão, você pode adicionar nós em lotes. Por exemplo, se forem necessários mais 180 nós do BMS, adicione-os em três lotes (60 para cada lote). Se alguns nós não forem adicionados, adicione-os novamente. Depois que todos os 180 nós forem adicionados com êxito, use os nós para dimensionamento do cluster. A adição de nós não afeta os serviços de cluster.

• Expandir clusters

  À medida que o volume de serviço aumenta, a escala atual de um cluster pode não atender aos requisitos de serviço. Nesse caso, você pode expandir o cluster adicionando nós de computação a ele. Os serviços não são interrompidos durante a expansão. Você pode ativar a expansão on-line e a redistribuição automática, se necessário.

• Gerenciar redistribuição

  Por padrão, a redistribuição é iniciada automaticamente após a expansão do cluster. Para maior confiabilidade, desative a função de redistribuição automática e inicie manualmente uma tarefa de redistribuição depois que a expansão for bem-sucedida. A redistribuição de dados pode acelerar a resposta do serviço. Atualmente, redistribuição off-line, redistribuição online e agendamento off-line são suportados. O modo padrão é a redistribuição off-line.

• Dimensionamento de espaço de armazenamento

  No dimensionamento convencional, os recursos de computação e armazenamento são acoplados. Se uma empresa dimensiona discos, ela precisa adicionar CPUs e memória desnecessárias ao mesmo tempo. O dimensionamento leva muito tempo e interrompe os serviços. A expansão da capacidade do disco pode aumentar rapidamente o armazenamento sem interrupção do serviço. Você pode aumentar o espaço em disco sem ter que parar os serviços.

• Gerenciar cargas de trabalho

  Quando vários usuários de banco de dados consultam jobs ao mesmo tempo, algumas consultas complexas podem ocupar recursos de cluster por um longo tempo, afetando o desempenho de outras consultas. Por exemplo, um grupo de usuários do banco de dados envia continuamente consultas complexas e demoradas, enquanto outro grupo de usuários frequentemente envia consultas curtas. Nesse caso, as consultas curtas podem ter que aguardar na fila para que as consultas demoradas sejam concluídas. Para melhorar a eficiência, você pode usar a função de gerenciamento de carga de trabalho GaussDB(DWS) para lidar com esses problemas. O gerenciamento de carga de trabalho do GaussDB(DWS) usa filas de carga de trabalho como portadoras de recursos. Você pode criar filas de carga de trabalho diferentes para diferentes tipos de serviço e configurar taxas de recursos diferentes para essas filas. Em seguida, adicione usuários do banco de dados às filas correspondentes para restringir seus usos de recursos.

• Cluster lógico

  Um cluster físico pode ser dividido em clusters lógicos que usam o mecanismo de grupo de nós. Tabelas em um banco de dados podem ser alocadas para diferentes nós físicos por cluster lógico. Um cluster lógico pode conter tabelas de vários bancos de dados.

• Reiniciar clusters

  Reiniciar um cluster pode causar perda de dados em serviços em execução. Se você precisar reiniciar um cluster, verifique se não há nenhum serviço em execução e se todos os dados foram salvos.

• Excluir clusters

  Você pode excluir um cluster quando não precisar dele. A exclusão de um cluster é arriscada e pode causar perda de dados. Portanto, tenha cuidado ao realizar esta operação.

GaussDB(DWS) permite que você gerencie clusters e snapshots de uma das seguintes maneiras:

• Console de gerenciamento

  Use o console de gerenciamento para acessar clusters de GaussDB(DWS). Quando tiver registado uma conta, inicie sessão na consola de gestão e escolha Data Warehouse Service.

  Para obter mais informações sobre gerenciamento de clusters, consulte Gerenciamento de clusters.

• As API REST

  Use as API REST fornecidas pelo GaussDB(DWS) para gerenciar clusters. Além disso, se você precisar integrar o GaussDB(DWS) em um sistema de terceiros para desenvolvimento secundário, use as API para acessar o serviço.

  Para obter detalhes, consulte a Referência de API do GaussDB(DWS).

Diversos modos de importação de dados

GaussDB (DWS) suporta a importação eficiente de dados de várias fontes de dados. A seguir, lista os modos típicos de importação de dados. For details, see "Data Migration to GaussDB(DWS)" in Data Warehouse Service (DWS) Developer Guide.

• Importar dados do OBS em paralelo
• Usar o GDS para importar dados de um servidor remoto
• Importar dados do MRS para um cluster de armazém de dados
• Importar dados de um cluster de GaussDB(DWS) para outro
• Usar o meta-comando de gsql \COPY para importar dados
• Executar a instrução COPY FROM STDIN para importar dados
• Usar DRS para importar dados para GaussDB(DWS)
• Migrar dados para GaussDB(DWS) usando CDM
• Usar o Conversor de esquema de banco de dados (DSC) para migrar scripts SQL
• Usar gs_dump e gs_dumpall para exportar metadados
• Usar gs_restore para importar dados

As API

Você pode chamar as API padrão, como JDBC e ODBC, para acessar bancos de dados em clusters de GaussDB(DWS).

Para obter detalhes, consulte Uso de um driver JDBC para conectar a um banco de dados e Uso de um driver JDBC para conectar a um banco de dados.

Alta confiabilidade

• Suporta redundância de instâncias e dados, garantindo zero pontos únicos de falha (SPOF) em todo o sistema.
• Suporta vários backups de dados e todos os dados podem ser copiados manualmente para o OBS.
• Isola automaticamente o nó defeituoso, usa o backup para restaurar dados e substitui o nó defeituoso quando necessário.
• Os snapshots automáticos funcionam com o OBS para implementar a recuperação de desastres (DR) entre AZs. Se o cluster de produção não fornecer serviços de leitura e gravação devido a desastres naturais na região especificada ou falhas internas do cluster, o cluster de DR se tornará o cluster de produção para garantir a continuidade do serviço.
• No estado Unbalanced, o número de instâncias primárias em alguns nós aumenta. Como resultado, a pressão de carga é alta. Nesse caso, você pode executar um switchback primário/em espera para o cluster durante as horas de pico para melhorar o desempenho.
• Se o endereço IP interno ou EIP de um CN for usado para se conectar a um cluster, a falha desse CN levará à falha de conexão do cluster. Para evitar falhas de CN único, o GaussDB(DWS) usa o Elastic Load Balance (ELB). Um ELB distribui o tráfego de acesso a vários ECSs para controle de tráfego com base em políticas de encaminhamento. Melhora a capacidade de tolerância a falhas dos programas de aplicação.
• Depois que um cluster é criado, o número de CNs necessários varia de acordo com os requisitos de serviço. GaussDB(DWS) permite adicionar ou excluir CNs conforme necessário.

Gerenciamento da segurança

• Isola os inquilinos e controla as permissões de acesso para proteger a privacidade e a segurança dos dados dos sistemas e utilizadores com base nas regras de isolamento da rede e grupo de segurança, bem como nas medidas de reforço da segurança.
• Suporta conexões de rede SSL, gerenciamento de permissões de usuário e gerenciamento de senhas, garantindo a segurança dos dados nas camadas de rede, gerenciamento, aplicativo e sistema.

  Para obter detalhes, consulte Configuração da conexão SSL e Configuração da separação de permissões.

Monitoramento e auditoria

• Monitorar clusters

  GaussDB(DWS) integra-se ao Cloud Eye, permitindo monitorar nós de computação e bancos de dados no cluster em tempo real. Para obter detalhes, consulte Monitoramento de cluster.

• Monitoramento de banco de dados

  DMS é fornecido pelo GaussDB (DWS) para garantir a execução rápida e estável de bancos de dados. Ele coleta, monitora e analisa os dados de métrica do disco, da rede e do SO usados pelo banco de dados do serviço, bem como os principais dados de métrica de desempenho da execução do cluster. Ele também diagnostica hosts de banco de dados, instâncias e instruções SQL de serviço com base nas métricas coletadas para expor falhas importantes e problemas de desempenho em um banco de dados em tempo hábil e orienta os clientes a otimizar e resolver os problemas. Para obter detalhes, consulte Monitoramento de banco de dados.

• Alarmes

  O gerenciamento de alarmes inclui a visualização e configuração de regras de alarme e a assinatura de informações de alarme. As regras de alarme exibem estatísticas de alarme e detalhes da semana passada para que os usuários visualizem alarmes de locatários. Além de fornecer um conjunto de regras de alarme padrão do GaussDB(DWS), esse recurso permite que você modifique os limites de alarme com base em seus próprios serviços. Para obter detalhes, consulte Alarmes.

• Notificação de Eventos

  GaussDB(DWS) interconecta-se com Simple Message Notification (SMN) para que você possa se inscrever em eventos e exibir eventos que são acionados. Para obter detalhes, consulte Notificações de eventos.

• Logs de auditoria
  • GaussDB(DWS) integra-se ao Cloud Trace Service (CTS), permitindo que você audite as operações realizadas no console de gerenciamento e as operações de invocação da API. Para obter detalhes, consulte Exibição de dogs de auditoria de operações-chave no console.
  • GaussDB(DWS) registra todas as operações SQL, incluindo tentativas de conexão, tentativas de consulta e alterações no banco de dados. Para obter detalhes, consulte Configuração de logs da auditoria do banco de dados.

Várias ferramentas de banco de dados

GaussDB(DWS) fornece as seguintes ferramentas autodesenvolvidas. Você pode baixar os pacotes de ferramentas no console de gerenciamento do GaussDB(DWS). Para obter detalhes sobre as ferramentas, consulte o Guia de ferramentas do Data Warehouse Service (DWS).

• gsql

  gsql é uma ferramenta cliente de linha de comando SQL em execução no SO Linux. Ele ajuda a conectar, operar e manter o banco de dados em um cluster de armazém de dados.

• Data Studio

  Data Studio é uma ferramenta de cliente SQL de Interface gráfica do usuário (GUI) executada no SO Windows. Ele é usado para se conectar ao banco de dados em um cluster de armazém de dados, gerenciar o banco de dados e objetos de banco de dados, editar, executar e depurar scripts SQL e exibir os planos de execução.

• GDS

  GDS é uma ferramenta de serviço de dados fornecida pelo GaussDB(DWS). Ele funciona com o mecanismo de tabela externa para implementar a importação e exportação de dados de alta velocidade.

  O pacote de ferramentas GDS precisa ser instalado no servidor onde o arquivo de origem de dados está localizado. Esse servidor é chamado de servidor de dados ou servidor GDS.

• Ferramenta de migração de sintaxe SQL de DSC

  O DSC é uma ferramenta de linha de comando em execução no SO Linux ou Windows. Dedica-se a fornecer aos clientes serviços de migração de script SQL de aplicações simples, rápidos e confiáveis. Ele analisa scripts SQL de aplicações de banco de dados de origem usando a lógica de migração de sintaxe incorporada e migra-os para serem aplicáveis a bancos de dados GaussDB(DWS).

  O DSC pode migrar scripts SQL de bancos de dados Teradata, Oracle, Netezza, MySQL e DB2.

• Data Admin Service (DAS)

  GaussDB(DWS) oferece suporte ao logon de página (WebSQL). Esta função depende do DAS. Atualmente, o gerenciamento de banco de dados e as operações SQL são suportados. Para se conectar a um cluster dessa maneira, você precisa inserir o nome de usuário e a senha do banco de dados. Você pode exibir metadados e executar instruções SQL após a conexão.

• gs_dump e gs_dumpall

  gs_dump exporta um único banco de dados ou seus objetos. gs_dumpall exporta todos os bancos de dados ou objetos globais em um cluster.

  Para migrar as informações do banco de dados, você pode usar uma ferramenta para importar os metadados exportados para um banco de dados de destino.

• gs_restore

  Durante a migração do banco de dados, você pode exportar arquivos usando gs_dump tool e importá-los para o GaussDB(DWS) usando gs_restore. Dessa forma, metadados, como definições de tabela e definições de objeto de banco de dados, podem ser importados.