Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Creación de un clúster MRS Hive
Preparación del archivo de configuración de desarrollo de aplicaciones
Obtención del proyecto de muestra
Creación y ejecución de la aplicación

Mostrar todo

Centro de ayuda/ MapReduce Service/ Pasos iniciales/ Desarrollo de aplicaciones de componentes MRS/ Desarrollo de aplicaciones de Hive HCatalog

Desarrollo de aplicaciones de Hive HCatalog

Actualización más reciente 2023-11-20 GMT+08:00

Ver PDF

Hive es un marco de almacenamiento de datos de código abierto construido en Hadoop. Puede usarlo para almacenar datos estructurados y analizar datos con las sentencias del lenguaje de consulta Hive (HiveQL). Hive convierte las sentencias HiveQL en trabajos MapReduce o Spark para consultar y analizar cantidades masivas de datos almacenados en clústeres de Hadoop.

Puedes usar Hive para:

Extraer, transformar y cargar datos (ETL) con HiveQL.
Analizar cantidades masivas de datos estructurados con HiveQL.
Procesar datos en una amplia gama de formatos, como JSON, CSV, TEXTFILE, RCFILE, ORCFILE y SEQUENCEFILE, y personalice las extensiones.
Conectar el cliente de forma flexible e invocar a las API de JDBC.

Hive es bueno para el análisis masivo de datos fuera de línea (como el análisis de estado de registros y clústeres), la minería de datos a gran escala (como el análisis del comportamiento del usuario, el análisis de la región de interés y la visualización de la región) y otros escenarios.

MRS proporciona ejemplos de proyectos de desarrollo de aplicaciones basados en Hive. Esta práctica proporciona orientación para obtener e importar un proyecto de ejemplo después de crear un clúster MRS y, a continuación, compilar y depurar el código localmente. En este proyecto de ejemplo, puede crear tablas Hive, insertar datos y leer datos.

Creación de un clúster MRS Hive

Cree y compre un clúster MRS que contenga Hive. Para obtener más información, consulte Compra de un clúster personalizado.
NOTA:

En esta práctica, se utiliza como ejemplo un clúster MRS 3.1.5, con Hadoop y Hive instalados y con la autenticación Kerberos habilitada.
Haga clic en Buy Now y espere hasta que se cree el clúster MRS.

Preparación del archivo de configuración de desarrollo de aplicaciones

Inicie sesión en FusionInsight Manager para crear un usuario del clúster para crear tablas de datos de Hive y enviar el programa HCatalog.

Elija System > Permission > User. En la página mostrada, haga clic en Create. En la página mostrada, cree un usuario máquina-máquina, por ejemplo, hiveuser.

Añada hive y supergroup a User Group.
Descargue e instale el cliente de clúster para ejecutar el programa HCatalog. Por ejemplo, el directorio de instalación es /opt/client.

Obtención del proyecto de muestra

Obtenga el proyecto de muestra de Huawei Mirrors.

Descargue el código fuente y los archivos de configuración del proyecto de ejemplo, y configure las herramientas de desarrollo relacionadas en su PC local. Para obtener más información, consulte Obtención de proyectos de muestra desde Huawei Mirros.

Seleccione una rama basada en la versión del clúster y descargue el proyecto de muestra de MRS requerido.

Por ejemplo, el proyecto de muestra adecuado para esta práctica es hcatalog-example, que se puede obtener en https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.5/src/hive-examples/hcatalog-example.
Utilice IDEA para importar el proyecto de ejemplo y espere a que el proyecto Maven descargue los paquetes de dependencias. Para obtener más información, consulte Configuración de proyecto de muestra de JDBC.

Figura 1 Proyecto de muestra Hive HCatalog

Después de configurar los parámetros Maven y SDK en el PC local, el proyecto de ejemplo carga automáticamente paquetes de dependencias relacionados.

Creación y ejecución de la aplicación

Compilar el programa de muestra HCatalog.
1. En la ventana de la herramienta Maven, seleccione clean en Lifecycle para ejecutar el proceso de construcción de Maven.
2. Seleccionar package de Lifecycle y ejecutar el proceso de compilación de Maven
  Figura 2 Empaquetado del programa de muestra
  
  Si se muestra "BUILD SUCCESS", la compilación se realiza correctamente.
  
  El paquete hcatalog-example-XXX.jar se genera en el directorio target del proyecto de ejemplo.
```
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  03:30 min
[INFO] Finished at: 2023-05-17T20:22:44+08:00
[INFO] ------------------------------------------------------------------------
```
Inicie sesión en la Hive Beeline CLI y cree tablas de origen y tablas de datos para el análisis de HCatalog.

source /opt/client/bigdata_env

kinit hiveuser

beeline

create table t1(col1 int);

create table t2(col1 int,col2 int);

Inserte los datos de prueba en la tabla de datos de origen t1.

insert into table t1 select 1 union all select 1 union all select 2 union all select 2 union all select 3;

select * from t1;
```
+----------+
| t1.col1  |
+----------+
| 1        |
| 1        |
| 2        |
| 2        |
| 3        |
+----------+
```
Cargue el paquete JAR exportado a la ruta de acceso especificada del nodo Linux donde se despliega el cliente de clúster, por ejemplo, /opt/hive_demo.
Para facilitar las operaciones posteriores, configure el directorio de programa de ejemplo y el directorio de componentes del cliente como variables públicas.

Salga de la Beeline CLI y ejecute los siguientes comandos:

export HCAT_CLIENT=/opt/hive_demo

export HADOOP_HOME=/opt/client/HDFS/hadoop

export HIVE_HOME=/opt/client/Hive/Beeline

export HCAT_HOME=$HIVE_HOME/../HCatalog

export LIB_JARS=$HCAT_HOME/lib/hive-hcatalog-core-XXX.jar,$HCAT_HOME/lib/hive-metastore-XXX.jar,$HCAT_HOME/lib/hive-standalone-metastore-XXX.jar,$HIVE_HOME/lib/hive-exec-XXX.jar,$HCAT_HOME/lib/libfb303-XXX.jar,$HCAT_HOME/lib/slf4j-api-XXX.jar,$HCAT_HOME/lib/jdo-api-XXX.jar,$HCAT_HOME/lib/antlr-runtime-XXX.jar,$HCAT_HOME/lib/datanucleus-api-jdo-XXX.jar,$HCAT_HOME/lib/datanucleus-core-XXX.jar,$HCAT_HOME/lib/datanucleus-rdbms-fi-XXX.jar,$HCAT_HOME/lib/log4j-api-XXX.jar,$HCAT_HOME/lib/log4j-core-XXX.jar,$HIVE_HOME/lib/commons-lang-XXX.jar,$HIVE_HOME/lib/hive-exec-XXX.jar

export HADOOP_CLASSPATH=$HCAT_HOME/lib/hive-hcatalog-core-XXX.jar:$HCAT_HOME/lib/hive-metastore-XXX.jar:$HCAT_HOME/lib/hive-standalone-metastore-XXX.jar:$HIVE_HOME/lib/hive-exec-XXX.jar:$HCAT_HOME/lib/libfb303-XXX.jar:$HADOOP_HOME/etc/hadoop:$HCAT_HOME/conf:$HCAT_HOME/lib/slf4j-api-XXX.jar:$HCAT_HOME/lib/jdo-api-XXX.jar:$HCAT_HOME/lib/antlr-runtime-XXX.jar:$HCAT_HOME/lib/datanucleus-api-jdo-XXX.jar:$HCAT_HOME/lib/datanucleus-core-XXX.jar:$HCAT_HOME/lib/datanucleus-rdbms-fi-XXX.jar:$HCAT_HOME/lib/log4j-api-XXX.jar:$HCAT_HOME/lib/log4j-core-XXX.jar:$HIVE_HOME/lib/commons-lang-XXX.jar:$HIVE_HOME/lib/hive-exec-XXX.jar

NOTA:

El número de versión XXX del paquete JAR especificado en LIB_JARS y HADOOP_CLASSPATH debe cambiarse a la versión que está utilizando.

Utilice el cliente Yarn para enviar una tarea.

yarn --config $HADOOP_HOME/etc/hadoop jar $HCAT_CLIENT/hcatalog-example-XXX.jar com.huawei.bigdata.HCatalogExample -libjars $LIB_JARS t1 t2

...
2023-05-18 20:05:56,691 INFO mapreduce.Job: The url to track the job: https://host-192-168-64-122:26001/proxy/application_1683438782910_0008/
2023-05-18 20:05:56,692 INFO mapreduce.Job: Running job: job_1683438782910_0008
2023-05-18 20:06:07,250 INFO mapreduce.Job: Job job_1683438782910_0008 running in uber mode : false
2023-05-18 20:06:07,253 INFO mapreduce.Job:  map 0% reduce 0%
2023-05-18 20:06:15,362 INFO mapreduce.Job:  map 25% reduce 0%
2023-05-18 20:06:16,386 INFO mapreduce.Job:  map 50% reduce 0%
2023-05-18 20:06:35,999 INFO mapreduce.Job:  map 100% reduce 0%
2023-05-18 20:06:42,048 INFO mapreduce.Job:  map 100% reduce 100%
2023-05-18 20:06:43,136 INFO mapreduce.Job: Job job_1683438782910_0008 completed successfully
2023-05-18 20:06:44,118 INFO mapreduce.Job: Counters: 54
...

Después de completar el trabajo, vaya a la Hive Beeline CLI, consulte los datos en la tabla t2 y vea el resultado del análisis de datos.

select * from t2;

+----------+----------+
| t2.col1  | t2.col2  |
+----------+----------+
| 1        | 2        |
| 2        | 2        |
| 3        | 1        |
+----------+----------+

Tema principal: Desarrollo de aplicaciones de componentes MRS

Tema anterior: Desarrollo de aplicaciones de Hive JDBC

Tema siguiente: Desarrollo de aplicaciones de Kafka

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar