Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.
Cómputo
Elastic Cloud Server
Bare Metal Server
Auto Scaling
Image Management Service
Dedicated Host
FunctionGraph
Cloud Phone Host
Huawei Cloud EulerOS
Redes
Virtual Private Cloud
Elastic IP
Elastic Load Balance
NAT Gateway
Direct Connect
Virtual Private Network
VPC Endpoint
Cloud Connect
Enterprise Router
Enterprise Switch
Global Accelerator
Gestión y gobernanza
Cloud Eye
Identity and Access Management
Cloud Trace Service
Resource Formation Service
Tag Management Service
Log Tank Service
Config
Resource Access Manager
Simple Message Notification
Application Performance Management
Application Operations Management
Organizations
Optimization Advisor
Cloud Operations Center
Resource Governance Center
Migración
Server Migration Service
Object Storage Migration Service
Cloud Data Migration
Migration Center
Cloud Ecosystem
KooGallery
Partner Center
User Support
My Account
Billing Center
Cost Center
Resource Center
Enterprise Management
Service Tickets
HUAWEI CLOUD (International) FAQs
ICP Filing
Support Plans
My Credentials
Customer Operation Capabilities
Partner Support Plans
Professional Services
Análisis
MapReduce Service
Data Lake Insight
CloudTable Service
Cloud Search Service
Data Lake Visualization
Data Ingestion Service
GaussDB(DWS)
DataArts Studio
IoT
IoT Device Access
Otros
Product Pricing Details
System Permissions
Console Quick Start
Common FAQs
Instructions for Associating with a HUAWEI CLOUD Partner
Message Center
Seguridad y cumplimiento
Security Technologies and Applications
Web Application Firewall
Host Security Service
Cloud Firewall
SecMaster
Data Encryption Workshop
Database Security Service
Cloud Bastion Host
Data Security Center
Cloud Certificate Manager
Blockchain
Blockchain Service
Servicios multimedia
Media Processing Center
Video On Demand
Live
SparkRTC
Almacenamiento
Object Storage Service
Elastic Volume Service
Cloud Backup and Recovery
Storage Disaster Recovery Service
Scalable File Service
Volume Backup Service
Cloud Server Backup Service
Data Express Service
Dedicated Distributed Storage Service
Contenedores
Cloud Container Engine
SoftWare Repository for Container
Application Service Mesh
Ubiquitous Cloud Native Service
Cloud Container Instance
Bases de datos
Relational Database Service
Document Database Service
Data Admin Service
Data Replication Service
GeminiDB
GaussDB
Distributed Database Middleware
Database and Application Migration UGO
TaurusDB
Middleware
Distributed Cache Service
API Gateway
Distributed Message Service for Kafka
Distributed Message Service for RabbitMQ
Distributed Message Service for RocketMQ
Cloud Service Engine
EventGrid
Dedicated Cloud
Dedicated Computing Cluster
Aplicaciones empresariales
ROMA Connect
Message & SMS
Domain Name Service
Edge Data Center Management
Meeting
AI
Face Recognition Service
Graph Engine Service
Content Moderation
Image Recognition
Data Lake Factory
Optical Character Recognition
ModelArts
ImageSearch
Conversational Bot Service
Speech Interaction Service
Huawei HiLens
Developer Tools
SDK Developer Guide
API Request Signing Guide
Terraform
Koo Command Line Interface
Distribución de contenido y cómputo de borde
Content Delivery Network
Intelligent EdgeFabric
CloudPond
Soluciones
SAP Cloud
High Performance Computing
Servicios para desarrolladores
ServiceStage
CodeArts
CodeArts PerfTest
CodeArts Req
CodeArts Pipeline
CodeArts Build
CodeArts Deploy
CodeArts Artifact
CodeArts TestPlan
CodeArts Check
Cloud Application Engine
aPaaS MacroVerse
KooPhone
KooDrive

Desarrollo de aplicaciones de Hive HCatalog

Actualización más reciente 2023-11-20 GMT+08:00

Hive es un marco de almacenamiento de datos de código abierto construido en Hadoop. Puede usarlo para almacenar datos estructurados y analizar datos con las sentencias del lenguaje de consulta Hive (HiveQL). Hive convierte las sentencias HiveQL en trabajos MapReduce o Spark para consultar y analizar cantidades masivas de datos almacenados en clústeres de Hadoop.

Puedes usar Hive para:

  • Extraer, transformar y cargar datos (ETL) con HiveQL.
  • Analizar cantidades masivas de datos estructurados con HiveQL.
  • Procesar datos en una amplia gama de formatos, como JSON, CSV, TEXTFILE, RCFILE, ORCFILE y SEQUENCEFILE, y personalice las extensiones.
  • Conectar el cliente de forma flexible e invocar a las API de JDBC.

Hive es bueno para el análisis masivo de datos fuera de línea (como el análisis de estado de registros y clústeres), la minería de datos a gran escala (como el análisis del comportamiento del usuario, el análisis de la región de interés y la visualización de la región) y otros escenarios.

MRS proporciona ejemplos de proyectos de desarrollo de aplicaciones basados en Hive. Esta práctica proporciona orientación para obtener e importar un proyecto de ejemplo después de crear un clúster MRS y, a continuación, compilar y depurar el código localmente. En este proyecto de ejemplo, puede crear tablas Hive, insertar datos y leer datos.

Creación de un clúster MRS Hive

  1. Cree y compre un clúster MRS que contenga Hive. Para obtener más información, consulte Compra de un clúster personalizado.
    NOTA:

    En esta práctica, se utiliza como ejemplo un clúster MRS 3.1.5, con Hadoop y Hive instalados y con la autenticación Kerberos habilitada.

  2. Haga clic en Buy Now y espere hasta que se cree el clúster MRS.

Preparación del archivo de configuración de desarrollo de aplicaciones

  1. Inicie sesión en FusionInsight Manager para crear un usuario del clúster para crear tablas de datos de Hive y enviar el programa HCatalog.

    Elija System > Permission > User. En la página mostrada, haga clic en Create. En la página mostrada, cree un usuario máquina-máquina, por ejemplo, hiveuser.

    Añada hive y supergroup a User Group.

  2. Descargue e instale el cliente de clúster para ejecutar el programa HCatalog. Por ejemplo, el directorio de instalación es /opt/client.

Obtención del proyecto de muestra

  1. Obtenga el proyecto de muestra de Huawei Mirrors.

    Descargue el código fuente y los archivos de configuración del proyecto de ejemplo, y configure las herramientas de desarrollo relacionadas en su PC local. Para obtener más información, consulte Obtención de proyectos de muestra desde Huawei Mirros.

    Seleccione una rama basada en la versión del clúster y descargue el proyecto de muestra de MRS requerido.

    Por ejemplo, el proyecto de muestra adecuado para esta práctica es hcatalog-example, que se puede obtener en https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.5/src/hive-examples/hcatalog-example.

  2. Utilice IDEA para importar el proyecto de ejemplo y espere a que el proyecto Maven descargue los paquetes de dependencias. Para obtener más información, consulte Configuración de proyecto de muestra de JDBC.

    Figura 1 Proyecto de muestra Hive HCatalog

    Después de configurar los parámetros Maven y SDK en el PC local, el proyecto de ejemplo carga automáticamente paquetes de dependencias relacionados.

Creación y ejecución de la aplicación

  1. Compilar el programa de muestra HCatalog.

    1. En la ventana de la herramienta Maven, seleccione clean en Lifecycle para ejecutar el proceso de construcción de Maven.
    2. Seleccionar package de Lifecycle y ejecutar el proceso de compilación de Maven
      Figura 2 Empaquetado del programa de muestra

      Si se muestra "BUILD SUCCESS", la compilación se realiza correctamente.

      El paquete hcatalog-example-XXX.jar se genera en el directorio target del proyecto de ejemplo.

      [INFO] ------------------------------------------------------------------------
      [INFO] BUILD SUCCESS
      [INFO] ------------------------------------------------------------------------
      [INFO] Total time:  03:30 min
      [INFO] Finished at: 2023-05-17T20:22:44+08:00
      [INFO] ------------------------------------------------------------------------

  2. Inicie sesión en la Hive Beeline CLI y cree tablas de origen y tablas de datos para el análisis de HCatalog.

    source /opt/client/bigdata_env

    kinit hiveuser

    beeline

    create table t1(col1 int);

    create table t2(col1 int,col2 int);

    Inserte los datos de prueba en la tabla de datos de origen t1.

    insert into table t1 select 1 union all select 1 union all select 2 union all select 2 union all select 3;

    select * from t1;

    +----------+
    | t1.col1  |
    +----------+
    | 1        |
    | 1        |
    | 2        |
    | 2        |
    | 3        |
    +----------+

  3. Cargue el paquete JAR exportado a la ruta de acceso especificada del nodo Linux donde se despliega el cliente de clúster, por ejemplo, /opt/hive_demo.
  4. Para facilitar las operaciones posteriores, configure el directorio de programa de ejemplo y el directorio de componentes del cliente como variables públicas.

    Salga de la Beeline CLI y ejecute los siguientes comandos:

    export HCAT_CLIENT=/opt/hive_demo

    export HADOOP_HOME=/opt/client/HDFS/hadoop

    export HIVE_HOME=/opt/client/Hive/Beeline

    export HCAT_HOME=$HIVE_HOME/../HCatalog

    export LIB_JARS=$HCAT_HOME/lib/hive-hcatalog-core-XXX.jar,$HCAT_HOME/lib/hive-metastore-XXX.jar,$HCAT_HOME/lib/hive-standalone-metastore-XXX.jar,$HIVE_HOME/lib/hive-exec-XXX.jar,$HCAT_HOME/lib/libfb303-XXX.jar,$HCAT_HOME/lib/slf4j-api-XXX.jar,$HCAT_HOME/lib/jdo-api-XXX.jar,$HCAT_HOME/lib/antlr-runtime-XXX.jar,$HCAT_HOME/lib/datanucleus-api-jdo-XXX.jar,$HCAT_HOME/lib/datanucleus-core-XXX.jar,$HCAT_HOME/lib/datanucleus-rdbms-fi-XXX.jar,$HCAT_HOME/lib/log4j-api-XXX.jar,$HCAT_HOME/lib/log4j-core-XXX.jar,$HIVE_HOME/lib/commons-lang-XXX.jar,$HIVE_HOME/lib/hive-exec-XXX.jar

    export HADOOP_CLASSPATH=$HCAT_HOME/lib/hive-hcatalog-core-XXX.jar:$HCAT_HOME/lib/hive-metastore-XXX.jar:$HCAT_HOME/lib/hive-standalone-metastore-XXX.jar:$HIVE_HOME/lib/hive-exec-XXX.jar:$HCAT_HOME/lib/libfb303-XXX.jar:$HADOOP_HOME/etc/hadoop:$HCAT_HOME/conf:$HCAT_HOME/lib/slf4j-api-XXX.jar:$HCAT_HOME/lib/jdo-api-XXX.jar:$HCAT_HOME/lib/antlr-runtime-XXX.jar:$HCAT_HOME/lib/datanucleus-api-jdo-XXX.jar:$HCAT_HOME/lib/datanucleus-core-XXX.jar:$HCAT_HOME/lib/datanucleus-rdbms-fi-XXX.jar:$HCAT_HOME/lib/log4j-api-XXX.jar:$HCAT_HOME/lib/log4j-core-XXX.jar:$HIVE_HOME/lib/commons-lang-XXX.jar:$HIVE_HOME/lib/hive-exec-XXX.jar

    NOTA:

    El número de versión XXX del paquete JAR especificado en LIB_JARS y HADOOP_CLASSPATH debe cambiarse a la versión que está utilizando.

  5. Utilice el cliente Yarn para enviar una tarea.

    yarn --config $HADOOP_HOME/etc/hadoop jar $HCAT_CLIENT/hcatalog-example-XXX.jar com.huawei.bigdata.HCatalogExample -libjars $LIB_JARS t1 t2

    ...
    2023-05-18 20:05:56,691 INFO mapreduce.Job: The url to track the job: https://host-192-168-64-122:26001/proxy/application_1683438782910_0008/
    2023-05-18 20:05:56,692 INFO mapreduce.Job: Running job: job_1683438782910_0008
    2023-05-18 20:06:07,250 INFO mapreduce.Job: Job job_1683438782910_0008 running in uber mode : false
    2023-05-18 20:06:07,253 INFO mapreduce.Job:  map 0% reduce 0%
    2023-05-18 20:06:15,362 INFO mapreduce.Job:  map 25% reduce 0%
    2023-05-18 20:06:16,386 INFO mapreduce.Job:  map 50% reduce 0%
    2023-05-18 20:06:35,999 INFO mapreduce.Job:  map 100% reduce 0%
    2023-05-18 20:06:42,048 INFO mapreduce.Job:  map 100% reduce 100%
    2023-05-18 20:06:43,136 INFO mapreduce.Job: Job job_1683438782910_0008 completed successfully
    2023-05-18 20:06:44,118 INFO mapreduce.Job: Counters: 54
    ...

  6. Después de completar el trabajo, vaya a la Hive Beeline CLI, consulte los datos en la tabla t2 y vea el resultado del análisis de datos.

    select * from t2;

    +----------+----------+
    | t2.col1  | t2.col2  |
    +----------+----------+
    | 1        | 2        |
    | 2        | 2        |
    | 3        | 1        |
    +----------+----------+

Utilizamos cookies para mejorar nuestro sitio y tu experiencia. Al continuar navegando en nuestro sitio, tú aceptas nuestra política de cookies. Descubre más

Comentarios

Comentarios

Comentarios

0/500

Seleccionar contenido

Enviar el contenido seleccionado con los comentarios