CarbonData
CarbonData é um novo formato de armazenamento de dados nativo do Apache Hadoop. CarbonData permite consultas interativas mais rápidas em PetaBytes de dados usando técnicas avançadas de armazenamento colunar, índice, compactação e codificação para melhorar a eficiência da computação. Além disso, o CarbonData também é um mecanismo de análise de alto desempenho que integra fontes de dados ao Spark.
O objetivo do uso do CarbonData é fornecer resposta rápida a consultas ad hoc de Big Data. Essencialmente, o CarbonData é um mecanismo de Processamento Analítico Online (OLAP), que armazena dados usando tabelas semelhantes às do Sistema de Gerenciamento de Banco de Dados Relacional (RDBMS). Você pode importar mais de 10 TB de dados para tabelas criadas no formato CarbonData e o CarbonData organiza e armazena automaticamente os dados usando os índices multidimensionais compactados. Depois que os dados são carregados em CarbonData, o CarbonData responde a consultas ad hoc em segundos.
O CarbonData integra fontes de dados ao ecossistema Spark. Você pode usar o Spark SQL para consultar e analisar dados ou usar a ferramenta de terceiros ThriftServer fornecida pelo Spark para se conectar ao Spark SQL.
Recursos do CarbonData
- SQL: CarbonData é compatível com o Spark SQL e suporta operações de consulta SQL executadas no Spark SQL.
- Definição de conjunto de dados de tabela simples: CarbonData permite definir e criar conjuntos de dados usando instruções de Linguagem de Definição de Dados (DDL). CarbonData DDL é flexível e fácil de usar, e pode definir tabelas complexas.
- Fácil gerenciamento de dados: CarbonData fornece várias funções de gerenciamento de dados para carregamento e manutenção de dados. Ele pode carregar dados históricos e carregar novos dados de forma incremental. Os dados carregados podem ser excluídos de acordo com o tempo de carregamento e as operações específicas de carregamento de dados podem ser canceladas.
- O formato de arquivo CarbonData é um armazenamento colunar no HDFS. Ele tem muitos recursos que um formato colunar moderno tem, como divisível e esquema de compressão.
Recursos únicos do CarbonData
- Armazena dados junto com o índice: acelera significativamente o desempenho da consulta e reduz as varreduras de I/O e os recursos da CPU, quando há filtros na consulta. O índice de CarbonData consiste em vários níveis de índices. Uma estrutura de processamento pode aproveitar esse índice para reduzir a tarefa que precisa agendar e processar, e também pode executar a varredura de pular em uma unidade de grãos mais fina (chamada blocklet) na varredura do lado da tarefa em vez de verificar o arquivo inteiro.
- Dados codificados operáveis: com o suporte a esquemas eficientes de compressão e codificação global, CarbonData pode consultar dados compactados/codificados. Os dados podem ser convertidos pouco antes de retornar os resultados para os usuários, que é "materializado tardiamente".
- Suporta vários casos de uso com um único formato de dados: como consulta interativa no estilo OLAP, Acesso Sequencial (grande varredura) e Acesso Aleatório (varredura estreita).
Principais tecnologias e vantagens do CarbonData
- Resposta rápida da consulta: CarbonData apresenta consultas de alto desempenho. A velocidade de consulta do CarbonData é 10 vezes maior que a do Spark SQL. Ele usa formatos de dados dedicados e aplica várias tecnologias de índice, código de dicionário global e várias otimizações push-down, fornecendo resposta rápida a consultas de dados em nível de TB.
- Compressão de dados eficiente: CarbonData comprime dados combinando os algoritmos de compressão leves e pesados. Isso economiza significativamente de 60% a 80% de espaço de armazenamento de dados e o custo de armazenamento de hardware.
Para obter detalhes sobre a arquitetura e os princípios do CarbonData, consulte https://carbondata.apache.org/.
