Princípios básicos do Hue
Hue é um grupo de aplicações Web que interagem com componentes de Big Data do MRS. Ele ajuda você a navegar no HDFS, executar consultas no Hive e iniciar jobs do MapReduce. Hue possui aplicações que interagem com todos os componentes de Big Data do MRS.
O Hue fornece as funções do navegador de arquivos e do editor de consultas:
- O navegador de arquivos permite que você navegue e opere diretamente diferentes diretórios HDFS na GUI.
- O editor de consultas pode escrever instruções SQL simples para consultar dados armazenados no Hadoop, por exemplo, HDFS, HBase e Hive. Com o editor de consultas, você pode facilmente criar, gerenciar e executar instruções SQL e baixar os resultados da execução como um arquivo do Excel.
Na WebUI fornecida pelo Hue, você pode executar as seguintes operações nos componentes:
- HDFS:
- Visualizar, criar, gerenciar, renomear, mover e excluir arquivos ou diretórios.
- Upload e download de arquivos
- Pesquisar arquivos, diretórios, proprietários de arquivos e grupos de usuários; alterar os proprietários e permissões dos arquivos e diretórios.
- Configurar manualmente as políticas de armazenamento de diretório de HDFS e as políticas de armazenamento dinâmico.
- Hive:
- Editar e executar instruções SQL/HQL. Salvar, copiar e editar o modelo SQL/HQL. Explicar instruções SQL/HQL. Salvar a instrução SQL/HQL e consultá-la.
- Apresentação do banco de dados e apresentação da tabela de dados
- Suportar a diferentes tipos de armazenamento de Hadoop
- Use o MetaStore para adicionar, excluir, modificar e consultar bancos de dados, tabelas e exibições.
Se o Internet Explorer for usado para acessar a página de Hue para executar instruções HiveSQL, a execução falhará porque o navegador tem problemas funcionais. É aconselhável usar um navegador compatível, por exemplo, o Google Chrome.
- Impala:
- Editar e executar instruções SQL/HQL. Salvar, copiar e editar o modelo SQL/HQL. Explicar instruções SQL/HQL. Salvar a instrução SQL/HQL e consultá-la.
- Apresentação do banco de dados e apresentação da tabela de dados
- Suportar a diferentes tipos de armazenamento de Hadoop
- Use o MetaStore para adicionar, excluir, modificar e consultar bancos de dados, tabelas e exibições.
Se o Internet Explorer for usado para acessar a página de Hue para executar instruções HiveSQL, a execução falhará porque o navegador tem problemas funcionais. Você é aconselhado a usar um navegador compatível, por exemplo, o Google Chrome.
- MapReduce: verifique as tarefas do MapReduce que estão sendo executadas ou foram concluídas nos clusters, incluindo status, horário de início e término e logs de execução.
- Oozie: Hue fornece a função de gerenciador de jobs Oozie, neste caso, você pode usar Oozie no modo GUI.
- ZooKeeper: Hue fornece a função do navegador ZooKeeper para você usar o ZooKeeper no modo GUI.
Para detalhes sobre a Hue, visite https://gethue.com/.
Arquitetura
Hue, adotando o design MTV (Model-Template-View), é um programa de aplicação web rodando em Django Python. (Django Python é uma estrutura de aplicações Web que utiliza código-fonte aberto.)
Hue consiste em Supervisor Process e WebServer. O Supervisor Process é o principal processo de Hue que gerencia os processos de aplicação. O Supervisor Process e o WebServer interagem com aplicações no WebServer por meio de APIs Thrift/REST, como mostrado em Figura 1.
Tabela 1 descreve os componentes mostrados em Figura 1.
Nome da conexão |
Descrição |
---|---|
Supervisor Process |
Gerencia processos de aplicações do WebServer, como iniciar, parar e monitorar os processos. |
Hue WebServer |
Fornece as seguintes funções através da estrutura da Web de Django Python:
|