Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.
Cómputo
Elastic Cloud Server
Bare Metal Server
Auto Scaling
Image Management Service
Dedicated Host
FunctionGraph
Cloud Phone Host
Huawei Cloud EulerOS
Redes
Virtual Private Cloud
Elastic IP
Elastic Load Balance
NAT Gateway
Direct Connect
Virtual Private Network
VPC Endpoint
Cloud Connect
Enterprise Router
Enterprise Switch
Global Accelerator
Gestión y gobernanza
Cloud Eye
Identity and Access Management
Cloud Trace Service
Resource Formation Service
Tag Management Service
Log Tank Service
Config
Resource Access Manager
Simple Message Notification
Application Performance Management
Application Operations Management
Organizations
Optimization Advisor
Cloud Operations Center
Resource Governance Center
Migración
Server Migration Service
Object Storage Migration Service
Cloud Data Migration
Migration Center
Cloud Ecosystem
KooGallery
Partner Center
User Support
My Account
Billing Center
Cost Center
Resource Center
Enterprise Management
Service Tickets
HUAWEI CLOUD (International) FAQs
ICP Filing
Support Plans
My Credentials
Customer Operation Capabilities
Partner Support Plans
Professional Services
Análisis
MapReduce Service
Data Lake Insight
CloudTable Service
Cloud Search Service
Data Lake Visualization
Data Ingestion Service
GaussDB(DWS)
DataArts Studio
IoT
IoT Device Access
Otros
Product Pricing Details
System Permissions
Console Quick Start
Common FAQs
Instructions for Associating with a HUAWEI CLOUD Partner
Message Center
Seguridad y cumplimiento
Security Technologies and Applications
Web Application Firewall
Host Security Service
Cloud Firewall
SecMaster
Data Encryption Workshop
Database Security Service
Cloud Bastion Host
Data Security Center
Cloud Certificate Manager
Blockchain
Blockchain Service
Servicios multimedia
Media Processing Center
Video On Demand
Live
SparkRTC
Almacenamiento
Object Storage Service
Elastic Volume Service
Cloud Backup and Recovery
Storage Disaster Recovery Service
Scalable File Service
Volume Backup Service
Cloud Server Backup Service
Data Express Service
Dedicated Distributed Storage Service
Contenedores
Cloud Container Engine
SoftWare Repository for Container
Application Service Mesh
Ubiquitous Cloud Native Service
Cloud Container Instance
Bases de datos
Relational Database Service
Document Database Service
Data Admin Service
Data Replication Service
GeminiDB
GaussDB
Distributed Database Middleware
Database and Application Migration UGO
TaurusDB
Middleware
Distributed Cache Service
API Gateway
Distributed Message Service for Kafka
Distributed Message Service for RabbitMQ
Distributed Message Service for RocketMQ
Cloud Service Engine
EventGrid
Dedicated Cloud
Dedicated Computing Cluster
Aplicaciones empresariales
ROMA Connect
Message & SMS
Domain Name Service
Edge Data Center Management
Meeting
AI
Face Recognition Service
Graph Engine Service
Content Moderation
Image Recognition
Data Lake Factory
Optical Character Recognition
ModelArts
ImageSearch
Conversational Bot Service
Speech Interaction Service
Huawei HiLens
Developer Tools
SDK Developer Guide
API Request Signing Guide
Terraform
Koo Command Line Interface
Distribución de contenido y cómputo de borde
Content Delivery Network
Intelligent EdgeFabric
CloudPond
Soluciones
SAP Cloud
High Performance Computing
Servicios para desarrolladores
ServiceStage
CodeArts
CodeArts PerfTest
CodeArts Req
CodeArts Pipeline
CodeArts Build
CodeArts Deploy
CodeArts Artifact
CodeArts TestPlan
CodeArts Check
Cloud Application Engine
aPaaS MacroVerse
KooPhone
KooDrive

Desarrollo de aplicaciones de HBase

Actualización más reciente 2023-11-20 GMT+08:00

HBase es un sistema de almacenamiento distribuido basado en columnas que ofrece alta confiabilidad, rendimiento y escalabilidad. Está diseñado para eliminar las limitaciones de las bases de datos relacionales en el procesamiento de cantidades masivas de datos.

Los escenarios de aplicación de HBase tienen las siguientes características:

  • Procesamiento masivo de datos (más alto que el nivel TB o PB)
  • Alto rendimiento
  • Lectura aleatoria altamente eficiente de datos masivos
  • Excelente escalabilidad
  • Procesamiento simultáneo de datos estructurados y no estructurados

MRS proporciona ejemplos de proyectos de desarrollo de aplicaciones basados en HBase. Esta práctica proporciona orientación para que obtenga e importe un proyecto de muestra después de crear un clúster MRS y, a continuación, realice la construcción y puesta en marcha localmente. En este proyecto de ejemplo, puede crear tablas HBase, insertar datos, crear índices y eliminar tablas en el clúster MRS.

Creación de un clúster MRS HBase

  1. Cree y compre un clúster MRS que contenga HBase. Para obtener más información, consulte Compra de un clúster personalizado.
    NOTA:

    En esta práctica, se utiliza como ejemplo un clúster MRS 3.1.0, con Hadoop y HBase instalados y con la autenticación Kerberos habilitada.

  2. Haga clic en Buy Now y espere hasta que se cree el clúster MRS.
    Figura 1 Clúster adquirido

Preparación del archivo de configuración de desarrollo de aplicaciones

  1. Una vez creado el clúster, inicie sesión en FusionInsight Manager y cree un usuario del clúster para la autenticación de seguridad del proyecto de ejemplo.

    1. Elija System > Permission > User. En el panel derecho, haga clic en Create. En la página mostrada, cree un usuario hombre-máquina, por ejemplo, developuser.

      Añada el grupo de usuarios hadoop a User Group.

      Una vez creado el usuario, inicie sesión en FusionInsight Manager como developuser y cambie la contraseña inicial según se le solicite.

    2. Inicie sesión en la interfaz de usuario web de Ranger como administrador de Ranger rangeradmin.

      La contraseña predeterminada del rangeradmin de usuario es Rangeradmin@123. Para obtener más información, consulte Lista de cuenta de usuario.

    3. En la página de inicio del Ranger, haga clic en el nombre del complemento del componente en el área HBASE, por ejemplo, HBase.
    4. Haga clic en en la columna Action de la fila que contiene la política all - table, column-family, column.
    5. En el área Allow Conditions, agregue una condición de permiso. Seleccione el usuario creado para Select User y seleccione Select/Deselect All para Permissions.
    6. Haga clic en Save.

  2. Inicie sesión en FusionInsight Manager como usuario admin y elija System > Permission > User. En la columna Operation de developuser, elija More > Download Authentication Credential. Guarde el archivo y descomprímalo para obtener los archivos user.keytab y krb5.conf del usuario.
  3. Elija Cluster. En la pestaña Dashboard, haga clic en More y seleccione Download Client. En el cuadro de diálogo que se muestra, establezca Select Client Type en Configuration Files Only y haga clic en OK. Después de generar el paquete cliente, descargue el paquete como se le indique y descomprima.

    Por ejemplo, si el paquete del archivo de configuración del cliente es FusionInsight_Cluster_1_Services_Client.tar, descomprima para obtener FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar. A continuación, continúe para descomprimir este archivo.

    1. Vaya al directorio FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles\HBase\config y obtenga los archivos de configuración que aparecen en la lista de Tabla 1.
      Tabla 1 Archivos de configuración

      Archivo de configuración

      Descripción

      core-site.xml

      Configura los parámetros de Hadoop Core.

      hbase-site.xml

      Configura parámetros de HBase.

      hdfs-site.xml

      Configura parámetros de HDFS.

    2. Copie todo el contenido del archivo hosts en el directorio de descompresión al archivo hosts local. Asegúrese de que el PC local pueda comunicarse con los hosts que figuran en el archivo hosts del directorio de descompresión.
      NOTA:
      • En esta práctica, asegúrese de que el entorno local puede comunicarse con el plano de red donde reside el clúster MRS. En general, puede acceder al clúster MRS a través de una EIP.
      • Si el entorno local no puede comunicarse con los nodos del clúster MRS, puede crear primero el proyecto de ejemplo y cargar el paquete JAR en el clúster para ejecutarlo. .
      • C:\WINDOWS\system32\drivers\etc\hosts es un directorio de ejemplo en un entorno Windows para almacenar el archivo hosts local.

Obtención del proyecto de muestra

  1. Obtenga el proyecto de muestra de Huawei Mirrors.

    Descargue el código fuente del proyecto Maven y los archivos de configuración del proyecto de ejemplo, y configure las herramientas de desarrollo relacionadas en su PC local. Para obtener más información, consulte Obtención de proyectos de muestra desde Huawei Mirros.

    Seleccione una rama basada en la versión del clúster y descargue el proyecto de muestra de MRS requerido.

    Por ejemplo, el proyecto de muestra adecuado para esta práctica es hbase-example, que se puede obtener en https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.0/src/hbase-examples/hbase-example.

  2. Utilice IDEA para importar el proyecto de ejemplo y espere a que el proyecto Maven descargue los paquetes de dependencias. Para obtener más información, consulte Configuración e importación de proyectos de muestra.

    Figura 2 Proyecto de muestra HBase

    Después de configurar los parámetros Maven y SDK en el PC local, el proyecto de ejemplo carga automáticamente paquetes de dependencias relacionados.

  3. Coloque los archivos de configuración del clúster y las credenciales de autenticación de usuario obtenidas en Preparación del archivo de configuración de desarrollo de aplicaciones al directorio ../src/main/resources/conf del proyecto de ejemplo.
  4. En la clase TestMain del paquete com.huawei.bigdata.hbase.examples, cambie userName por el nombre de usuario real, por ejemplo, developuser.

    private static void login() throws IOException {
            if (User.isHBaseSecurityEnabled(conf)) {
                userName = "developuser";
                //In Windows environment
                String userdir = TestMain.class.getClassLoader().getResource("conf").getPath() + File.separator;
                //In Linux environment
                //String userdir = System.getProperty("user.dir") + File.separator + "conf" + File.separator;
    
                LoginUtil.setJaasConf(ZOOKEEPER_DEFAULT_LOGIN_CONTEXT_NAME, userName, userKeytabFile);
                LoginUtil.login(userName, userKeytabFile, krb5File, conf);
            }
    }

    Supongamos que está desarrollando una aplicación para gestionar información sobre los usuarios del servicio A en una empresa. El proceso de operación es como sigue.

    No.

    Paso

    1

    Crear una tabla basada en la información existente.

    2

    Importar datos de usuario.

    3

    Agregar la familia de columnas Education Information y agregar los fondos educativos y los títulos de los usuarios a la tabla de información del usuario.

    4

    Consultar nombres de usuario y direcciones por ID de usuario.

    5

    Ejecutar consultas por nombre de usuario.

    6

    Para mejorar el rendimiento de las consultas, cree o elimine índices secundarios.

    7

    Anular el registro de usuarios y eliminar los datos de usuario de la tabla de información de usuario.

    8

    Eliminar la tabla de información del usuario después de que finalice el servicio A.

    Por ejemplo, el siguiente fragmento de código ejecuta el método testCreateTable en la clase HBaseSample del paquete com.huawei.bigdata.hbase.examples para crear una tabla de información de usuario.

    public void testCreateTable() {
                 LOG.info("Entering testCreateTable.");
                 TableDescriptorBuilder htd = TableDescriptorBuilder.newBuilder(tableName); //Create a table descriptor.
                 ColumnFamilyDescriptorBuilder hcd = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("info")); //Create a column family descriptor.
                 hcd.setDataBlockEncoding(DataBlockEncoding.FAST_DIFF); //Set the encoding algorithm. HBase provides DIFF, FAST_DIFF, and PREFIX encoding algorithms.
                 hcd.setCompressionType(Compression.Algorithm.SNAPPY);
                 htd.setColumnFamily(hcd.build());  //Add the column family descriptor to the table descriptor.
                 Admin admin = null; 
                 try {
                   admin = conn.getAdmin(); //Obtain the Admin object, which allows you to create a table, create a column family, check whether the table exists, change the table structure and column family structure, and delete the table.
                   if (!admin.tableExists(tableName)) {
                     LOG.info("Creating table...");
                     admin.createTable(htd.build());//Call the createTable method of Admin.
                     LOG.info(admin.getClusterMetrics().toString());
                     LOG.info(admin.listNamespaceDescriptors().toString());
                     LOG.info("Table created successfully.");
                   } else {
                     LOG.warn("table already exists");
                   }
                 } catch (IOException e) {
                     LOG.error("Create table failed " ,e);
                 } finally {
                   if (admin != null) {
                     try {
                       admin.close();
                     } catch (IOException e) {
                       LOG.error("Failed to close admin " ,e);
                     }
                   }
                 }
                 LOG.info("Exiting testCreateTable.");
      }     

Creación y ejecución de la aplicación

  1. Haga clic en Reimport All Maven Projects en la ventana Maven a la derecha de IDEA para cargar las dependencias del proyecto Maven.

    Figura 3 Cargar un proyecto de muestra

  2. Construir la aplicación.

    1. Elija Maven, busque el nombre del proyecto de destino y haga doble clic en clean en Lifecycle para ejecutar el comando clean de Maven.
    2. Elija Maven, busque el nombre del proyecto de destino y haga doble clic en compile en Lifecycle para ejecutar el comando compile de Maven.
      Figura 4 clean y compile de Maven

    Una vez completada la construcción, se muestra el mensaje "Build Success" y se genera el directorio target.

    [INFO] ------------------------------------------------------------------------
    [INFO] BUILD SUCCESS
    [INFO] ------------------------------------------------------------------------
    [INFO] Total time:  21.276 s
    [INFO] Finished at: 2023-05-05T14:36:39+08:00
    [INFO] ------------------------------------------------------------------------

  3. Ejecutar la aplicación.

    Haga clic con el botón derecho del ratón en el archivo TestMain.java y elija Run 'TestMain.main().

    Figura 5 Ejecución de la aplicación

  4. Compruebe la información de salida después de ejecutar la muestra hbase-example. La siguiente información indica que las operaciones de tabla relacionadas se ejecutan correctamente:

    ...
    2023-05-05 15:05:27,050 INFO  [main] examples.HBaseSample: Table created successfully.
    2023-05-05 15:05:27,050 INFO  [main] examples.HBaseSample: Exiting testCreateTable.
    2023-05-05 15:05:27,050 INFO  [main] examples.HBaseSample: Entering testMultiSplit.
    2023-05-05 15:05:31,171 INFO  [main] client.HBaseAdmin: Operation: MULTI_SPLIT_REGION, Table Name: default:hbase_sample_table, procId: 21 completed
    2023-05-05 15:05:31,171 INFO  [main] examples.HBaseSample: MultiSplit successfully.
    2023-05-05 15:05:31,172 INFO  [main] examples.HBaseSample: Exiting testMultiSplit.
    2023-05-05 15:05:31,172 INFO  [main] examples.HBaseSample: Entering testPut.
    2023-05-05 15:05:32,862 INFO  [main] examples.HBaseSample: Put successfully.
    2023-05-05 15:05:32,862 INFO  [main] examples.HBaseSample: Exiting testPut.
    2023-05-05 15:05:32,862 INFO  [main] examples.HBaseSample: Entering createIndex.
    2023-05-05 15:05:36,627 INFO  [main] examples.HBaseSample: Create index successfully.
    2023-05-05 15:05:36,627 INFO  [main] examples.HBaseSample: Exiting createIndex.
    2023-05-05 15:05:36,627 INFO  [main] examples.HBaseSample: Entering createIndex.
    2023-05-05 15:05:37,912 INFO  [main] examples.HBaseSample: Successfully enable indices [index_name]  of the table hbase_sample_table
    2023-05-05 15:05:37,912 INFO  [main] examples.HBaseSample: Entering testScanDataByIndex.
    2023-05-05 15:05:37,915 INFO  [main] examples.HBaseSample: Scan indexed data.
    2023-05-05 15:05:39,939 INFO  [main] examples.HBaseSample: Scan data by index successfully.
    2023-05-05 15:05:39,939 INFO  [main] examples.HBaseSample: Exiting testScanDataByIndex.
    2023-05-05 15:05:39,941 INFO  [main] examples.HBaseSample: Entering testModifyTable.
    2023-05-05 15:05:40,191 INFO  [main] client.HBaseAdmin: Started disable of hbase_sample_table
    2023-05-05 15:05:41,322 INFO  [main] client.HBaseAdmin: Operation: DISABLE, Table Name: default:hbase_sample_table, procId: 53 completed
    2023-05-05 15:05:42,230 INFO  [main] client.HBaseAdmin: Started enable of hbase_sample_table
    2023-05-05 15:05:43,187 INFO  [main] client.HBaseAdmin: Operation: ENABLE, Table Name: default:hbase_sample_table, procId: 65 completed
    2023-05-05 15:05:43,187 INFO  [main] examples.HBaseSample: Modify table successfully.
    2023-05-05 15:05:43,187 INFO  [main] examples.HBaseSample: Exiting testModifyTable.
    2023-05-05 15:05:43,187 INFO  [main] examples.HBaseSample: Entering testGet.
    2023-05-05 15:05:43,278 INFO  [main] examples.HBaseSample: 012005000201:info,address,Shenzhen, Guangdong
    2023-05-05 15:05:43,279 INFO  [main] examples.HBaseSample: 012005000201:info,name,Zhang San
    2023-05-05 15:05:43,279 INFO  [main] examples.HBaseSample: Get data successfully.
    2023-05-05 15:05:43,279 INFO  [main] examples.HBaseSample: Exiting testGet.
    2023-05-05 15:05:43,279 INFO  [main] examples.HBaseSample: Entering testScanData.
    2023-05-05 15:05:43,576 INFO  [main] examples.HBaseSample: 012005000201:info,name,Zhang San
    2023-05-05 15:05:43,576 INFO  [main] examples.HBaseSample: 012005000202:info,name,Li Wanting
    2023-05-05 15:05:43,577 INFO  [main] examples.HBaseSample: 012005000203:info,name,Wang Ming
    2023-05-05 15:05:43,577 INFO  [main] examples.HBaseSample: 012005000204:info,name,Li Gang
    2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000205:info,name,Zhao Enru
    2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000206:info,name,Chen Long
    2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000207:info,name,Zhou Wei
    2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000208:info,name,Yang Yiwen
    2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000209:info,name,Xu Bing
    2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000210:info,name,Xiao Kai
    2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: Scan data successfully.
    2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: Exiting testScanData.
    2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: Entering testSingleColumnValueFilter.
    2023-05-05 15:05:43,883 INFO  [main] examples.HBaseSample: Single column value filter successfully.
    2023-05-05 15:05:43,883 INFO  [main] examples.HBaseSample: Exiting testSingleColumnValueFilter.
    2023-05-05 15:05:43,884 INFO  [main] examples.HBaseSample: Entering testFilterList.
    2023-05-05 15:05:44,388 INFO  [main] examples.HBaseSample: 012005000201:info,name,Zhang San
    2023-05-05 15:05:44,388 INFO  [main] examples.HBaseSample: 012005000202:info,name,Li Wanting
    2023-05-05 15:05:44,388 INFO  [main] examples.HBaseSample: 012005000203:info,name,Wang Ming
    2023-05-05 15:05:44,388 INFO  [main] examples.HBaseSample: 012005000204:info,name,Li Gang
    2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000205:info,name,Zhao Enru
    2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000206:info,name,Chen Long
    2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000207:info,name,Zhou Wei
    2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000208:info,name,Yang Yiwen
    2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000209:info,name,Xu Bing
    2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000210:info,name,Xiao Kai
    2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: Filter list successfully.
    2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: Exiting testFilterList.
    2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: Entering testDelete.
    2023-05-05 15:05:44,586 INFO  [main] examples.HBaseSample: Delete table successfully.
    2023-05-05 15:05:44,586 INFO  [main] examples.HBaseSample: Exiting testDelete.
    2023-05-05 15:05:44,586 INFO  [main] examples.HBaseSample: Entering disableIndex.
    2023-05-05 15:05:45,819 INFO  [main] examples.HBaseSample: Successfully disable indices [index_name]  of the table hbase_sample_table
    2023-05-05 15:05:45,819 INFO  [main] examples.HBaseSample: Entering dropIndex.
    2023-05-05 15:05:48,084 INFO  [main] examples.HBaseSample: Drop index successfully.
    2023-05-05 15:05:48,084 INFO  [main] examples.HBaseSample: Exiting dropIndex.
    2023-05-05 15:05:48,084 INFO  [main] examples.HBaseSample: Entering dropTable.
    2023-05-05 15:05:48,237 INFO  [main] client.HBaseAdmin: Started disable of hbase_sample_table
    2023-05-05 15:05:49,543 INFO  [main] client.HBaseAdmin: Operation: DISABLE, Table Name: default:hbase_sample_table, procId: 95 completed
    2023-05-05 15:05:50,645 INFO  [main] client.HBaseAdmin: Operation: DELETE, Table Name: default:hbase_sample_table, procId: 106 completed
    2023-05-05 15:05:50,645 INFO  [main] examples.HBaseSample: Drop table successfully.
    2023-05-05 15:05:50,645 INFO  [main] examples.HBaseSample: Exiting dropTable.
    2023-05-05 15:05:50,646 INFO  [main] client.ConnectionImplementation: Closing master protocol: MasterService
    2023-05-05 15:05:50,652 INFO  [main] client.ConnectionImplementation: Connection has been closed by main.
    2023-05-05 15:05:50,654 INFO  [main] hbase.ChoreService: Chore service for: AsyncConn Chore Service had [[ScheduledChore: Name: RefreshCredentials Period: 30000 Unit: MILLISECONDS]] on shutdown
    2023-05-05 15:05:50,655 INFO  [main] examples.TestMain: -----------finish HBase -------------------
    ...

Utilizamos cookies para mejorar nuestro sitio y tu experiencia. Al continuar navegando en nuestro sitio, tú aceptas nuestra política de cookies. Descubre más

Comentarios

Comentarios

Comentarios

0/500

Seleccionar contenido

Enviar el contenido seleccionado con los comentarios