Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

Centro de ayuda/ MapReduce Service/ Pasos iniciales/ Desarrollo de aplicaciones de componentes MRS/ Desarrollo de aplicaciones de HBase

Actualización más reciente 2023-11-20 GMT+08:00

Ver PDF

Desarrollo de aplicaciones de HBase

HBase es un sistema de almacenamiento distribuido basado en columnas que ofrece alta confiabilidad, rendimiento y escalabilidad. Está diseñado para eliminar las limitaciones de las bases de datos relacionales en el procesamiento de cantidades masivas de datos.

Los escenarios de aplicación de HBase tienen las siguientes características:

Procesamiento masivo de datos (más alto que el nivel TB o PB)
Alto rendimiento
Lectura aleatoria altamente eficiente de datos masivos
Excelente escalabilidad
Procesamiento simultáneo de datos estructurados y no estructurados

MRS proporciona ejemplos de proyectos de desarrollo de aplicaciones basados en HBase. Esta práctica proporciona orientación para que obtenga e importe un proyecto de muestra después de crear un clúster MRS y, a continuación, realice la construcción y puesta en marcha localmente. En este proyecto de ejemplo, puede crear tablas HBase, insertar datos, crear índices y eliminar tablas en el clúster MRS.

Creación de un clúster MRS HBase

Cree y compre un clúster MRS que contenga HBase. Para obtener más información, consulte Compra de un clúster personalizado.

En esta práctica, se utiliza como ejemplo un clúster MRS 3.1.0, con Hadoop y HBase instalados y con la autenticación Kerberos habilitada.
Haga clic en Buy Now y espere hasta que se cree el clúster MRS.
Figura 1 Clúster adquirido

Preparación del archivo de configuración de desarrollo de aplicaciones

Una vez creado el clúster, inicie sesión en FusionInsight Manager y cree un usuario del clúster para la autenticación de seguridad del proyecto de ejemplo.
1. Elija System > Permission > User. En el panel derecho, haga clic en Create. En la página mostrada, cree un usuario hombre-máquina, por ejemplo, developuser.
  Añada el grupo de usuarios hadoop a User Group.
  
  Una vez creado el usuario, inicie sesión en FusionInsight Manager como developuser y cambie la contraseña inicial según se le solicite.
2. Inicie sesión en la interfaz de usuario web de Ranger como administrador de Ranger rangeradmin.
  La contraseña predeterminada del rangeradmin de usuario es Rangeradmin@123. Para obtener más información, consulte Lista de cuenta de usuario.
3. En la página de inicio del Ranger, haga clic en el nombre del complemento del componente en el área HBASE, por ejemplo, HBase.
4. Haga clic en en la columna Action de la fila que contiene la política all - table, column-family, column.
5. En el área Allow Conditions, agregue una condición de permiso. Seleccione el usuario creado para Select User y seleccione Select/Deselect All para Permissions.
6. Haga clic en Save.
Inicie sesión en FusionInsight Manager como usuario admin y elija System > Permission > User. En la columna Operation de developuser, elija More > Download Authentication Credential. Guarde el archivo y descomprímalo para obtener los archivos user.keytab y krb5.conf del usuario.

Elija Cluster. En la pestaña Dashboard, haga clic en More y seleccione Download Client. En el cuadro de diálogo que se muestra, establezca Select Client Type en Configuration Files Only y haga clic en OK. Después de generar el paquete cliente, descargue el paquete como se le indique y descomprima.

Por ejemplo, si el paquete del archivo de configuración del cliente es FusionInsight_Cluster_1_Services_Client.tar, descomprima para obtener FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar. A continuación, continúe para descomprimir este archivo.

Vaya al directorio FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles\HBase\config y obtenga los archivos de configuración que aparecen en la lista de Tabla 1.

**Tabla 1** Archivos de configuración
Archivo de configuración	Descripción
core-site.xml	Configura los parámetros de Hadoop Core.
hbase-site.xml	Configura parámetros de HBase.
hdfs-site.xml	Configura parámetros de HDFS.

Copie todo el contenido del archivo hosts en el directorio de descompresión al archivo hosts local. Asegúrese de que el PC local pueda comunicarse con los hosts que figuran en el archivo hosts del directorio de descompresión.
- En esta práctica, asegúrese de que el entorno local puede comunicarse con el plano de red donde reside el clúster MRS. En general, puede acceder al clúster MRS a través de una EIP.
- Si el entorno local no puede comunicarse con los nodos del clúster MRS, puede crear primero el proyecto de ejemplo y cargar el paquete JAR en el clúster para ejecutarlo. .
- C:\WINDOWS\system32\drivers\etc\hosts es un directorio de ejemplo en un entorno Windows para almacenar el archivo hosts local.

Obtención del proyecto de muestra

Obtenga el proyecto de muestra de Huawei Mirrors.

Descargue el código fuente del proyecto Maven y los archivos de configuración del proyecto de ejemplo, y configure las herramientas de desarrollo relacionadas en su PC local. Para obtener más información, consulte Obtención de proyectos de muestra desde Huawei Mirros.

Seleccione una rama basada en la versión del clúster y descargue el proyecto de muestra de MRS requerido.

Por ejemplo, el proyecto de muestra adecuado para esta práctica es hbase-example, que se puede obtener en https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.0/src/hbase-examples/hbase-example.
Utilice IDEA para importar el proyecto de ejemplo y espere a que el proyecto Maven descargue los paquetes de dependencias. Para obtener más información, consulte Configuración e importación de proyectos de muestra.

Figura 2 Proyecto de muestra HBase

Después de configurar los parámetros Maven y SDK en el PC local, el proyecto de ejemplo carga automáticamente paquetes de dependencias relacionados.
Coloque los archivos de configuración del clúster y las credenciales de autenticación de usuario obtenidas en Preparación del archivo de configuración de desarrollo de aplicaciones al directorio ../src/main/resources/conf del proyecto de ejemplo.

En la clase TestMain del paquete com.huawei.bigdata.hbase.examples, cambie userName por el nombre de usuario real, por ejemplo, developuser.

private static void login() throws IOException {
        if (User.isHBaseSecurityEnabled(conf)) {
            userName = "developuser";
            //In Windows environment
            String userdir = TestMain.class.getClassLoader().getResource("conf").getPath() + File.separator;
            //In Linux environment
            //String userdir = System.getProperty("user.dir") + File.separator + "conf" + File.separator;

            LoginUtil.setJaasConf(ZOOKEEPER_DEFAULT_LOGIN_CONTEXT_NAME, userName, userKeytabFile);
            LoginUtil.login(userName, userKeytabFile, krb5File, conf);
        }
}

Supongamos que está desarrollando una aplicación para gestionar información sobre los usuarios del servicio A en una empresa. El proceso de operación es como sigue.

No.	Paso
1	Crear una tabla basada en la información existente.
2	Importar datos de usuario.
3	Agregar la familia de columnas Education Information y agregar los fondos educativos y los títulos de los usuarios a la tabla de información del usuario.
4	Consultar nombres de usuario y direcciones por ID de usuario.
5	Ejecutar consultas por nombre de usuario.
6	Para mejorar el rendimiento de las consultas, cree o elimine índices secundarios.
7	Anular el registro de usuarios y eliminar los datos de usuario de la tabla de información de usuario.
8	Eliminar la tabla de información del usuario después de que finalice el servicio A.

Por ejemplo, el siguiente fragmento de código ejecuta el método testCreateTable en la clase HBaseSample del paquete com.huawei.bigdata.hbase.examples para crear una tabla de información de usuario.

public void testCreateTable() {
             LOG.info("Entering testCreateTable.");
             TableDescriptorBuilder htd = TableDescriptorBuilder.newBuilder(tableName); //Create a table descriptor.
             ColumnFamilyDescriptorBuilder hcd = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("info")); //Create a column family descriptor.
             hcd.setDataBlockEncoding(DataBlockEncoding.FAST_DIFF); //Set the encoding algorithm. HBase provides DIFF, FAST_DIFF, and PREFIX encoding algorithms.
             hcd.setCompressionType(Compression.Algorithm.SNAPPY);
             htd.setColumnFamily(hcd.build());  //Add the column family descriptor to the table descriptor.
             Admin admin = null; 
             try {
               admin = conn.getAdmin(); //Obtain the Admin object, which allows you to create a table, create a column family, check whether the table exists, change the table structure and column family structure, and delete the table.
               if (!admin.tableExists(tableName)) {
                 LOG.info("Creating table...");
                 admin.createTable(htd.build());//Call the createTable method of Admin.
                 LOG.info(admin.getClusterMetrics().toString());
                 LOG.info(admin.listNamespaceDescriptors().toString());
                 LOG.info("Table created successfully.");
               } else {
                 LOG.warn("table already exists");
               }
             } catch (IOException e) {
                 LOG.error("Create table failed " ,e);
             } finally {
               if (admin != null) {
                 try {
                   admin.close();
                 } catch (IOException e) {
                   LOG.error("Failed to close admin " ,e);
                 }
               }
             }
             LOG.info("Exiting testCreateTable.");
  }

Creación y ejecución de la aplicación

Haga clic en Reimport All Maven Projects en la ventana Maven a la derecha de IDEA para cargar las dependencias del proyecto Maven.

Figura 3 Cargar un proyecto de muestra
Construir la aplicación.
1. Elija Maven, busque el nombre del proyecto de destino y haga doble clic en clean en Lifecycle para ejecutar el comando clean de Maven.
2. Elija Maven, busque el nombre del proyecto de destino y haga doble clic en compile en Lifecycle para ejecutar el comando compile de Maven.
  Figura 4 clean y compile de Maven
Una vez completada la construcción, se muestra el mensaje "Build Success" y se genera el directorio target.
```
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  21.276 s
[INFO] Finished at: 2023-05-05T14:36:39+08:00
[INFO] ------------------------------------------------------------------------
```
Ejecutar la aplicación.

Haga clic con el botón derecho del ratón en el archivo TestMain.java y elija Run 'TestMain.main().

Figura 5 Ejecución de la aplicación

Compruebe la información de salida después de ejecutar la muestra hbase-example. La siguiente información indica que las operaciones de tabla relacionadas se ejecutan correctamente:

...
2023-05-05 15:05:27,050 INFO  [main] examples.HBaseSample: Table created successfully.
2023-05-05 15:05:27,050 INFO  [main] examples.HBaseSample: Exiting testCreateTable.
2023-05-05 15:05:27,050 INFO  [main] examples.HBaseSample: Entering testMultiSplit.
2023-05-05 15:05:31,171 INFO  [main] client.HBaseAdmin: Operation: MULTI_SPLIT_REGION, Table Name: default:hbase_sample_table, procId: 21 completed
2023-05-05 15:05:31,171 INFO  [main] examples.HBaseSample: MultiSplit successfully.
2023-05-05 15:05:31,172 INFO  [main] examples.HBaseSample: Exiting testMultiSplit.
2023-05-05 15:05:31,172 INFO  [main] examples.HBaseSample: Entering testPut.
2023-05-05 15:05:32,862 INFO  [main] examples.HBaseSample: Put successfully.
2023-05-05 15:05:32,862 INFO  [main] examples.HBaseSample: Exiting testPut.
2023-05-05 15:05:32,862 INFO  [main] examples.HBaseSample: Entering createIndex.
2023-05-05 15:05:36,627 INFO  [main] examples.HBaseSample: Create index successfully.
2023-05-05 15:05:36,627 INFO  [main] examples.HBaseSample: Exiting createIndex.
2023-05-05 15:05:36,627 INFO  [main] examples.HBaseSample: Entering createIndex.
2023-05-05 15:05:37,912 INFO  [main] examples.HBaseSample: Successfully enable indices [index_name]  of the table hbase_sample_table
2023-05-05 15:05:37,912 INFO  [main] examples.HBaseSample: Entering testScanDataByIndex.
2023-05-05 15:05:37,915 INFO  [main] examples.HBaseSample: Scan indexed data.
2023-05-05 15:05:39,939 INFO  [main] examples.HBaseSample: Scan data by index successfully.
2023-05-05 15:05:39,939 INFO  [main] examples.HBaseSample: Exiting testScanDataByIndex.
2023-05-05 15:05:39,941 INFO  [main] examples.HBaseSample: Entering testModifyTable.
2023-05-05 15:05:40,191 INFO  [main] client.HBaseAdmin: Started disable of hbase_sample_table
2023-05-05 15:05:41,322 INFO  [main] client.HBaseAdmin: Operation: DISABLE, Table Name: default:hbase_sample_table, procId: 53 completed
2023-05-05 15:05:42,230 INFO  [main] client.HBaseAdmin: Started enable of hbase_sample_table
2023-05-05 15:05:43,187 INFO  [main] client.HBaseAdmin: Operation: ENABLE, Table Name: default:hbase_sample_table, procId: 65 completed
2023-05-05 15:05:43,187 INFO  [main] examples.HBaseSample: Modify table successfully.
2023-05-05 15:05:43,187 INFO  [main] examples.HBaseSample: Exiting testModifyTable.
2023-05-05 15:05:43,187 INFO  [main] examples.HBaseSample: Entering testGet.
2023-05-05 15:05:43,278 INFO  [main] examples.HBaseSample: 012005000201:info,address,Shenzhen, Guangdong
2023-05-05 15:05:43,279 INFO  [main] examples.HBaseSample: 012005000201:info,name,Zhang San
2023-05-05 15:05:43,279 INFO  [main] examples.HBaseSample: Get data successfully.
2023-05-05 15:05:43,279 INFO  [main] examples.HBaseSample: Exiting testGet.
2023-05-05 15:05:43,279 INFO  [main] examples.HBaseSample: Entering testScanData.
2023-05-05 15:05:43,576 INFO  [main] examples.HBaseSample: 012005000201:info,name,Zhang San
2023-05-05 15:05:43,576 INFO  [main] examples.HBaseSample: 012005000202:info,name,Li Wanting
2023-05-05 15:05:43,577 INFO  [main] examples.HBaseSample: 012005000203:info,name,Wang Ming
2023-05-05 15:05:43,577 INFO  [main] examples.HBaseSample: 012005000204:info,name,Li Gang
2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000205:info,name,Zhao Enru
2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000206:info,name,Chen Long
2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000207:info,name,Zhou Wei
2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000208:info,name,Yang Yiwen
2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000209:info,name,Xu Bing
2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: 012005000210:info,name,Xiao Kai
2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: Scan data successfully.
2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: Exiting testScanData.
2023-05-05 15:05:43,578 INFO  [main] examples.HBaseSample: Entering testSingleColumnValueFilter.
2023-05-05 15:05:43,883 INFO  [main] examples.HBaseSample: Single column value filter successfully.
2023-05-05 15:05:43,883 INFO  [main] examples.HBaseSample: Exiting testSingleColumnValueFilter.
2023-05-05 15:05:43,884 INFO  [main] examples.HBaseSample: Entering testFilterList.
2023-05-05 15:05:44,388 INFO  [main] examples.HBaseSample: 012005000201:info,name,Zhang San
2023-05-05 15:05:44,388 INFO  [main] examples.HBaseSample: 012005000202:info,name,Li Wanting
2023-05-05 15:05:44,388 INFO  [main] examples.HBaseSample: 012005000203:info,name,Wang Ming
2023-05-05 15:05:44,388 INFO  [main] examples.HBaseSample: 012005000204:info,name,Li Gang
2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000205:info,name,Zhao Enru
2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000206:info,name,Chen Long
2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000207:info,name,Zhou Wei
2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000208:info,name,Yang Yiwen
2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000209:info,name,Xu Bing
2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: 012005000210:info,name,Xiao Kai
2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: Filter list successfully.
2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: Exiting testFilterList.
2023-05-05 15:05:44,389 INFO  [main] examples.HBaseSample: Entering testDelete.
2023-05-05 15:05:44,586 INFO  [main] examples.HBaseSample: Delete table successfully.
2023-05-05 15:05:44,586 INFO  [main] examples.HBaseSample: Exiting testDelete.
2023-05-05 15:05:44,586 INFO  [main] examples.HBaseSample: Entering disableIndex.
2023-05-05 15:05:45,819 INFO  [main] examples.HBaseSample: Successfully disable indices [index_name]  of the table hbase_sample_table
2023-05-05 15:05:45,819 INFO  [main] examples.HBaseSample: Entering dropIndex.
2023-05-05 15:05:48,084 INFO  [main] examples.HBaseSample: Drop index successfully.
2023-05-05 15:05:48,084 INFO  [main] examples.HBaseSample: Exiting dropIndex.
2023-05-05 15:05:48,084 INFO  [main] examples.HBaseSample: Entering dropTable.
2023-05-05 15:05:48,237 INFO  [main] client.HBaseAdmin: Started disable of hbase_sample_table
2023-05-05 15:05:49,543 INFO  [main] client.HBaseAdmin: Operation: DISABLE, Table Name: default:hbase_sample_table, procId: 95 completed
2023-05-05 15:05:50,645 INFO  [main] client.HBaseAdmin: Operation: DELETE, Table Name: default:hbase_sample_table, procId: 106 completed
2023-05-05 15:05:50,645 INFO  [main] examples.HBaseSample: Drop table successfully.
2023-05-05 15:05:50,645 INFO  [main] examples.HBaseSample: Exiting dropTable.
2023-05-05 15:05:50,646 INFO  [main] client.ConnectionImplementation: Closing master protocol: MasterService
2023-05-05 15:05:50,652 INFO  [main] client.ConnectionImplementation: Connection has been closed by main.
2023-05-05 15:05:50,654 INFO  [main] hbase.ChoreService: Chore service for: AsyncConn Chore Service had [[ScheduledChore: Name: RefreshCredentials Period: 30000 Unit: MILLISECONDS]] on shutdown
2023-05-05 15:05:50,655 INFO  [main] examples.TestMain: -----------finish HBase -------------------
...

Tema principal: Desarrollo de aplicaciones de componentes MRS

Tema anterior: Desarrollo de aplicaciones de componentes MRS

Tema siguiente: Desarrollo de aplicaciones de HDFS