Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Creación de un clúster MRS Hive
Preparación del archivo de configuración de desarrollo de aplicaciones
Obtención del proyecto de muestra
Creación y ejecución de la aplicación

Mostrar todo

Centro de ayuda/ MapReduce Service/ Pasos iniciales/ Desarrollo de aplicaciones de componentes MRS/ Desarrollo de aplicaciones de Hive JDBC

Desarrollo de aplicaciones de Hive JDBC

Actualización más reciente 2023-11-20 GMT+08:00

Ver PDF

Hive es un marco de almacenamiento de datos de código abierto construido en Hadoop. Puede usarlo para almacenar datos estructurados y analizar datos con las sentencias del lenguaje de consulta Hive (HiveQL). Hive convierte las sentencias HiveQL en trabajos MapReduce o Spark para consultar y analizar cantidades masivas de datos almacenados en clústeres de Hadoop.

Puedes usar Hive para:

Extraer, transformar y cargar datos (ETL) con HiveQL.
Analizar cantidades masivas de datos estructurados con HiveQL.
Procesar datos en una amplia gama de formatos, como JSON, CSV, TEXTFILE, RCFILE, ORCFILE y SEQUENCEFILE, y personalice las extensiones.
Conectar el cliente de forma flexible e invocar a las API de JDBC.

Hive es bueno para el análisis masivo de datos fuera de línea (como el análisis de estado de registros y clústeres), la minería de datos a gran escala (como el análisis del comportamiento del usuario, el análisis de la región de interés y la visualización de la región) y otros escenarios.

MRS proporciona ejemplos de proyectos de desarrollo de aplicaciones basados en Hive. Esta práctica proporciona orientación para obtener e importar un proyecto de ejemplo después de crear un clúster MRS y, a continuación, compilar y depurar el código localmente. En este proyecto de ejemplo, puede crear tablas Hive, insertar datos y leer datos.

Creación de un clúster MRS Hive

Cree y compre un clúster MRS que contenga Hive. Para obtener más información, consulte Compra de un clúster personalizado.
NOTA:

En esta práctica, se utiliza como ejemplo un clúster MRS 3.1.5, con Hadoop y Hive instalados y con la autenticación Kerberos habilitada.
Haga clic en Buy Now y espere hasta que se cree el clúster MRS.

Preparación del archivo de configuración de desarrollo de aplicaciones

Inicie sesión en FusionInsight Manager y cree un usuario del clúster para la autenticación de seguridad del proyecto de ejemplo.

Elija System > Permission > User. En la página mostrada, haga clic en Create. En la página mostrada, cree un usuario máquina-máquina, por ejemplo, developuser.

Añada hive y supergroup a User Group.
Elija System > Permission > User. En la columna Operation de developuser, elija More > Download Authentication Credential. Guarde el archivo y descomprímalo para obtener los archivos user.keytab y krb5.conf del usuario.
Elija Cluster. En la pestaña Dashboard, haga clic en More y seleccione Download Client. En el cuadro de diálogo que se muestra, establezca Select Client Type en Configuration Files Only y haga clic en OK. Después de generar el paquete cliente, descargue el paquete como se le indique y descomprima.

Por ejemplo, si el paquete del archivo de configuración del cliente es FusionInsight_Cluster_1_Services_Client.tar, descomprima para obtener FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar. A continuación, continúe para descomprimir este archivo.
1. Vaya al directorio FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles\Hive\config y obtenga los archivos de configuración.
2. Copie todo el contenido del archivo hosts en el directorio de descompresión al archivo hosts local. Asegúrese de que el PC local pueda comunicarse con los hosts que figuran en el archivo hosts del directorio de descompresión.
  NOTA:
  - En esta práctica, asegúrese de que el entorno local puede comunicarse con el plano de red donde se despliega el clúster MRS. En general, puede acceder al clúster MRS a través de una EIP.
  - C:\WINDOWS\system32\drivers\etc\hosts es un directorio de ejemplo en un entorno Windows para almacenar el archivo hosts local.

Obtención del proyecto de muestra

Obtenga el proyecto de muestra de Huawei Mirrors.

Descargue el código fuente y los archivos de configuración del proyecto de ejemplo, y configure las herramientas de desarrollo relacionadas en su PC local. Para obtener más información, consulte Obtención de proyectos de muestra desde Huawei Mirros.

Seleccione una rama basada en la versión del clúster y descargue el proyecto de muestra de MRS requerido.

Por ejemplo, el proyecto de muestra adecuado para esta práctica es hive-jdbc-example, que se puede obtener en https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.5/src/hive-examples/hive-jdbc-example.
Utilice IDEA para importar el proyecto de ejemplo y espere a que el proyecto Maven descargue los paquetes de dependencias. Para obtener más información, consulte Configuración de proyecto de muestra de JDBC.

Figura 1 Proyecto de muestra Hive

Después de configurar los parámetros Maven y SDK en el PC local, el proyecto de ejemplo carga automáticamente paquetes de dependencias relacionados.
Coloque los archivos de configuración del clúster y las credenciales de autenticación de usuario obtenidas en Preparación del archivo de configuración de desarrollo de aplicaciones al directorio resources del proyecto de ejemplo.
Para conectarse a un clúster MRS con la autenticación Kerberos habilitada, especifique la información de autenticación relacionada en el código de ejemplo.
En la clase JDBCExample del paquete com.huawei.bigdata.hive.examples, cambie USER_NAME por el nombre de usuario que está utilizando, por ejemplo, developuser.
```
KRB5_FILE = userdir + "krb5.conf";
System.setProperty("java.security.krb5.conf", KRB5_FILE);
USER_NAME = "developuser";
if ("KERBEROS".equalsIgnoreCase(auth)) {
    USER_KEYTAB_FILE = "src/main/resources/user.keytab";
    ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL = "zookeeper/" + getUserRealm();
    System.setProperty(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL);
}
...
```
En este proyecto de ejemplo, la hoja de ruta de desarrollo basada en los requisitos de servicio es la siguiente.
1. Preparar datos.
  1. Cree una tabla de información de empleados employees_info.
  2. Cargue la información de los empleados a employees_info.
2. Analizar datos.
  Recopile el número de registros de la tabla employees_info.
3. Eliminar la tabla.

Creación y ejecución de la aplicación

Compilar el programa de muestra JDBC.

Haga clic en Terminal en la esquina inferior izquierda de la página IDEA para acceder al terminal. Ejecute el comando mvn clean package para realizar la compilación.

Si se muestra "BUILD SUCCESS", la compilación se realiza correctamente. Un archivo JAR que contiene el campo -with-dependencies se genera en el directorio target del proyecto de ejemplo.
```
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  03:30 min
[INFO] Finished at: 2023-05-17T20:22:44+08:00
[INFO] ------------------------------------------------------------------------
```
Cree un directorio como directorio de tiempo de ejecución, por ejemplo D:\jdbc_example en su entorno local, guarde los paquetes JAR generados cuyos nombres contienen el campo -with-dependencies en el directorio y cree el subdirectorio src/main/resources en el directorio. Copie todos los archivos del directorio resources del proyecto de ejemplo en este subdirectorio local.
Ejecute los siguientes comandos en el entorno de Windows CMD:

cd /d d:\jdbc_example

java -jar hive-jdbc-example-XXX-with-dependencies.jar

Compruebe la información de salida después de ejecutar la muestra. La siguiente información indica que las operaciones de tabla Hive se ejecutan correctamente:

...
2023-05-17 20:25:09,421 INFO  HiveConnection - Login timeout is 0
2023-05-17 20:25:09,656 INFO  HiveConnection - user login success.
2023-05-17 20:25:09,685 INFO  HiveConnection - Will try to open client transport with JDBC Uri: jdbc:hive2://192.168.64.216:21066/;principal=hive/hadoop.hadoop.com@HADOOP.COM;sasl.qop=auth-conf;serviceDiscoveryMode=zooKeeper;auth=KERBEROS;zooKeeperNamespace=hiveserver2;user.principal=developuser;user.keytab=src/main/resources/user.keytab
2023-05-17 20:25:30,294 INFO  JDBCExample - Create table success!
2023-05-17 20:26:34,032 INFO  JDBCExample - _c0
2023-05-17 20:26:34,266 INFO  JDBCExample - 0
2023-05-17 20:26:35,199 INFO  JDBCExample - Delete table success!
...

Tema principal: Desarrollo de aplicaciones de componentes MRS

Tema anterior: Desarrollo de aplicaciones de HDFS

Tema siguiente: Desarrollo de aplicaciones de Hive HCatalog

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar