Desarrollo de aplicaciones de Hive HCatalog
Hive es un marco de almacenamiento de datos de código abierto construido en Hadoop. Puede usarlo para almacenar datos estructurados y analizar datos con las sentencias del lenguaje de consulta Hive (HiveQL). Hive convierte las sentencias HiveQL en trabajos MapReduce o Spark para consultar y analizar cantidades masivas de datos almacenados en clústeres de Hadoop.
Puedes usar Hive para:
- Extraer, transformar y cargar datos (ETL) con HiveQL.
- Analizar cantidades masivas de datos estructurados con HiveQL.
- Procesar datos en una amplia gama de formatos, como JSON, CSV, TEXTFILE, RCFILE, ORCFILE y SEQUENCEFILE, y personalice las extensiones.
- Conectar el cliente de forma flexible e invocar a las API de JDBC.
Hive es bueno para el análisis masivo de datos fuera de línea (como el análisis de estado de registros y clústeres), la minería de datos a gran escala (como el análisis del comportamiento del usuario, el análisis de la región de interés y la visualización de la región) y otros escenarios.
MRS proporciona ejemplos de proyectos de desarrollo de aplicaciones basados en Hive. Esta práctica proporciona orientación para obtener e importar un proyecto de ejemplo después de crear un clúster MRS y, a continuación, compilar y depurar el código localmente. En este proyecto de ejemplo, puede crear tablas Hive, insertar datos y leer datos.
Creación de un clúster MRS Hive
- Cree y compre un clúster MRS que contenga Hive. Para obtener más información, consulte Compra de un clúster personalizado.
En esta práctica, se utiliza como ejemplo un clúster MRS 3.1.5, con Hadoop y Hive instalados y con la autenticación Kerberos habilitada.
- Haga clic en Buy Now y espere hasta que se cree el clúster MRS.
Preparación del archivo de configuración de desarrollo de aplicaciones
- Inicie sesión en FusionInsight Manager para crear un usuario del clúster para crear tablas de datos de Hive y enviar el programa HCatalog.
Elija System > Permission > User. En la página mostrada, haga clic en Create. En la página mostrada, cree un usuario máquina-máquina, por ejemplo, hiveuser.
Añada hive y supergroup a User Group.
- Descargue e instale el cliente de clúster para ejecutar el programa HCatalog. Por ejemplo, el directorio de instalación es /opt/client.
Obtención del proyecto de muestra
- Obtenga el proyecto de muestra de Huawei Mirrors.
Descargue el código fuente y los archivos de configuración del proyecto de ejemplo, y configure las herramientas de desarrollo relacionadas en su PC local. Para obtener más información, consulte Obtención de proyectos de muestra desde Huawei Mirros.
Seleccione una rama basada en la versión del clúster y descargue el proyecto de muestra de MRS requerido.
Por ejemplo, el proyecto de muestra adecuado para esta práctica es hcatalog-example, que se puede obtener en https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.5/src/hive-examples/hcatalog-example.
- Utilice IDEA para importar el proyecto de ejemplo y espere a que el proyecto Maven descargue los paquetes de dependencias. Para obtener más información, consulte Configuración de proyecto de muestra de JDBC.
Figura 1 Proyecto de muestra Hive HCatalog
Después de configurar los parámetros Maven y SDK en el PC local, el proyecto de ejemplo carga automáticamente paquetes de dependencias relacionados.
Creación y ejecución de la aplicación
- Compilar el programa de muestra HCatalog.
- En la ventana de la herramienta Maven, seleccione clean en Lifecycle para ejecutar el proceso de construcción de Maven.
- Seleccionar package de Lifecycle y ejecutar el proceso de compilación de Maven
Figura 2 Empaquetado del programa de muestra
Si se muestra "BUILD SUCCESS", la compilación se realiza correctamente.
El paquete hcatalog-example-XXX.jar se genera en el directorio target del proyecto de ejemplo.
[INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 03:30 min [INFO] Finished at: 2023-05-17T20:22:44+08:00 [INFO] ------------------------------------------------------------------------
- Inicie sesión en la Hive Beeline CLI y cree tablas de origen y tablas de datos para el análisis de HCatalog.
source /opt/client/bigdata_env
kinit hiveuser
beeline
create table t1(col1 int);
create table t2(col1 int,col2 int);
Inserte los datos de prueba en la tabla de datos de origen t1.
insert into table t1 select 1 union all select 1 union all select 2 union all select 2 union all select 3;
select * from t1;
+----------+ | t1.col1 | +----------+ | 1 | | 1 | | 2 | | 2 | | 3 | +----------+
- Cargue el paquete JAR exportado a la ruta de acceso especificada del nodo Linux donde se despliega el cliente de clúster, por ejemplo, /opt/hive_demo.
- Para facilitar las operaciones posteriores, configure el directorio de programa de ejemplo y el directorio de componentes del cliente como variables públicas.
Salga de la Beeline CLI y ejecute los siguientes comandos:
export HCAT_CLIENT=/opt/hive_demo
export HADOOP_HOME=/opt/client/HDFS/hadoop
export HIVE_HOME=/opt/client/Hive/Beeline
export HCAT_HOME=$HIVE_HOME/../HCatalog
export LIB_JARS=$HCAT_HOME/lib/hive-hcatalog-core-XXX.jar,$HCAT_HOME/lib/hive-metastore-XXX.jar,$HCAT_HOME/lib/hive-standalone-metastore-XXX.jar,$HIVE_HOME/lib/hive-exec-XXX.jar,$HCAT_HOME/lib/libfb303-XXX.jar,$HCAT_HOME/lib/slf4j-api-XXX.jar,$HCAT_HOME/lib/jdo-api-XXX.jar,$HCAT_HOME/lib/antlr-runtime-XXX.jar,$HCAT_HOME/lib/datanucleus-api-jdo-XXX.jar,$HCAT_HOME/lib/datanucleus-core-XXX.jar,$HCAT_HOME/lib/datanucleus-rdbms-fi-XXX.jar,$HCAT_HOME/lib/log4j-api-XXX.jar,$HCAT_HOME/lib/log4j-core-XXX.jar,$HIVE_HOME/lib/commons-lang-XXX.jar,$HIVE_HOME/lib/hive-exec-XXX.jar
export HADOOP_CLASSPATH=$HCAT_HOME/lib/hive-hcatalog-core-XXX.jar:$HCAT_HOME/lib/hive-metastore-XXX.jar:$HCAT_HOME/lib/hive-standalone-metastore-XXX.jar:$HIVE_HOME/lib/hive-exec-XXX.jar:$HCAT_HOME/lib/libfb303-XXX.jar:$HADOOP_HOME/etc/hadoop:$HCAT_HOME/conf:$HCAT_HOME/lib/slf4j-api-XXX.jar:$HCAT_HOME/lib/jdo-api-XXX.jar:$HCAT_HOME/lib/antlr-runtime-XXX.jar:$HCAT_HOME/lib/datanucleus-api-jdo-XXX.jar:$HCAT_HOME/lib/datanucleus-core-XXX.jar:$HCAT_HOME/lib/datanucleus-rdbms-fi-XXX.jar:$HCAT_HOME/lib/log4j-api-XXX.jar:$HCAT_HOME/lib/log4j-core-XXX.jar:$HIVE_HOME/lib/commons-lang-XXX.jar:$HIVE_HOME/lib/hive-exec-XXX.jar
El número de versión XXX del paquete JAR especificado en LIB_JARS y HADOOP_CLASSPATH debe cambiarse a la versión que está utilizando.
- Utilice el cliente Yarn para enviar una tarea.
yarn --config $HADOOP_HOME/etc/hadoop jar $HCAT_CLIENT/hcatalog-example-XXX.jar com.huawei.bigdata.HCatalogExample -libjars $LIB_JARS t1 t2
... 2023-05-18 20:05:56,691 INFO mapreduce.Job: The url to track the job: https://host-192-168-64-122:26001/proxy/application_1683438782910_0008/ 2023-05-18 20:05:56,692 INFO mapreduce.Job: Running job: job_1683438782910_0008 2023-05-18 20:06:07,250 INFO mapreduce.Job: Job job_1683438782910_0008 running in uber mode : false 2023-05-18 20:06:07,253 INFO mapreduce.Job: map 0% reduce 0% 2023-05-18 20:06:15,362 INFO mapreduce.Job: map 25% reduce 0% 2023-05-18 20:06:16,386 INFO mapreduce.Job: map 50% reduce 0% 2023-05-18 20:06:35,999 INFO mapreduce.Job: map 100% reduce 0% 2023-05-18 20:06:42,048 INFO mapreduce.Job: map 100% reduce 100% 2023-05-18 20:06:43,136 INFO mapreduce.Job: Job job_1683438782910_0008 completed successfully 2023-05-18 20:06:44,118 INFO mapreduce.Job: Counters: 54 ...
- Después de completar el trabajo, vaya a la Hive Beeline CLI, consulte los datos en la tabla t2 y vea el resultado del análisis de datos.
select * from t2;
+----------+----------+ | t2.col1 | t2.col2 | +----------+----------+ | 1 | 2 | | 2 | 2 | | 3 | 1 | +----------+----------+
