Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Creación de un clúster MRS Hadoop
Preparación del archivo de configuración de desarrollo de aplicaciones
Obtención del proyecto de muestra
Creación y ejecución de la aplicación

Mostrar todo

Centro de ayuda/ MapReduce Service/ Pasos iniciales/ Desarrollo de aplicaciones de componentes MRS/ Desarrollo de aplicaciones de HDFS

Desarrollo de aplicaciones de HDFS

Actualización más reciente 2023-11-20 GMT+08:00

Ver PDF

Hadoop Distribute File System (HDFS) es un sistema de archivos distribuido que se ejecuta en hardware universal. Cuenta con una alta tolerancia a fallos y admite acceso a datos de alto rendimiento. Es adecuado para procesar conjuntos de datos a gran escala.

HDFS es adecuado para los siguientes escenarios de aplicación:

Procesamiento de cantidades masivas de datos (TB o PB y mayores)
Escenarios que requieren un alto rendimiento
Escenarios que requieren alta confiabilidad
Escenarios que requieren una excelente escalabilidad

MRS proporciona ejemplos de proyectos de desarrollo de aplicaciones basados en HBase. Esta práctica proporciona orientación para obtener e importar un proyecto de ejemplo después de crear un clúster MRS y, a continuación, compilar y depurar el código localmente. En este proyecto de ejemplo, puede crear directorios HDFS y escribir, leer y eliminar archivos.

Creación de un clúster MRS Hadoop

Cree y compre un clúster MRS que contenga Hadoop. Para obtener más información, consulte Compra de un clúster personalizado.
NOTA:

En esta práctica, se utiliza como ejemplo un clúster MRS 3.2.0-LTS.1, con Hadoop instalado y con la autenticación Kerberos habilitada.
Haga clic en Buy Now y espere hasta que se cree el clúster MRS.

Preparación del archivo de configuración de desarrollo de aplicaciones

Inicie sesión en FusionInsight Manager y cree un usuario del clúster para la autenticación de seguridad del proyecto de ejemplo.

Elija System > Permission > User. En la página mostrada, haga clic en Create. En la página mostrada, cree un usuario máquina-máquina, por ejemplo, developuser.

Añada el grupo de usuarios hadoop a User Group.
Elija System > Permission > User. En la columna Operation de developuser, elija More > Download Authentication Credential. Guarde el archivo y descomprímalo para obtener los archivos user.keytab y krb5.conf del usuario.

Elija Cluster. En la pestaña Dashboard, haga clic en More y seleccione Download Client. En el cuadro de diálogo que se muestra, establezca Select Client Type en Configuration Files Only y haga clic en OK. Después de generar el paquete cliente, descargue el paquete como se le indique y descomprima.

Por ejemplo, si el paquete del archivo de configuración del cliente es FusionInsight_Cluster_1_Services_Client.tar, descomprima para obtener FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar. A continuación, continúe para descomprimir este archivo.

Vaya al directorio FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles\HDFS\config y obtenga los archivos de configuración que aparecen en la lista de Tabla 1.

**Tabla 1** Archivo
Archivo	Descripción
core-site.xml	Parámetros de Hadoop Core
hdfs-site.xml	Parámetros de HDFS

Copie todo el contenido del archivo hosts en el directorio de descompresión al archivo hosts local. Asegúrese de que el PC local pueda comunicarse con los hosts que figuran en el archivo hosts del directorio de descompresión.
NOTA:
- En esta práctica, asegúrese de que el entorno local puede comunicarse con el plano de red donde se despliega el clúster MRS. En general, puede acceder al clúster MRS a través de una EIP.
- Si el entorno local no puede comunicarse con los nodos del clúster MRS, puede crear primero el proyecto de ejemplo y cargar el paquete JAR en el clúster para ejecutarlo.
- C:\WINDOWS\system32\drivers\etc\hosts es un directorio de ejemplo en un entorno Windows para almacenar el archivo hosts local.

Obtención del proyecto de muestra

Obtenga el proyecto de muestra de Huawei Mirrors.

Descargue el código fuente y los archivos de configuración del proyecto de ejemplo, y configure las herramientas de desarrollo relacionadas en su PC local. Para obtener más información, consulte Obtención de proyectos de muestra desde Huawei Mirros.

Seleccione una rama basada en la versión del clúster y descargue el proyecto de muestra de MRS requerido.

Por ejemplo, el proyecto de muestra adecuado para esta práctica es hdfs-example-security, que se puede obtener en https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.2.0.1/src/hdfs-example-security.
Utilice IDEA para importar el proyecto de ejemplo y espere a que el proyecto Maven descargue los paquetes de dependencias. Para obtener más información, consulte Configuración e importación de proyectos de muestra.

Figura 1 Proyecto de muestra de HDFS

Después de configurar los parámetros Maven y SDK en el PC local, el proyecto de ejemplo carga automáticamente paquetes de dependencias relacionados.
Coloque los archivos de configuración del clúster y las credenciales de autenticación de usuario obtenidas en Preparación del archivo de configuración de desarrollo de aplicaciones al directorio conf del proyecto de ejemplo.
Utilice el código de autenticación requerido para el proyecto de ejemplo de HDFS. Generalmente, hay autenticación de seguridad y autenticación de ZooKeeper.

En este ejemplo, no es necesario acceder a ZooKeeper o HBase. Solo se requiere el código de autenticación de seguridad básico.
En la clase HdfsExample del paquete com.huawei.bigdata.hdfs.examples, cambie PRNCIPAL_NAME por el nombre de usuario que está utilizando, por ejemplo, developuser.
```
private static final String PATH_TO_HDFS_SITE_XML = System.getProperty("user.dir") + File.separator + "conf"
        + File.separator + "hdfs-site.xml";
private static final String PATH_TO_CORE_SITE_XML =  System.getProperty("user.dir") + File.separator + "conf"
        + File.separator + "core-site.xml";
private static final String PRNCIPAL_NAME = "developuser";
private static final String PATH_TO_KEYTAB = System.getProperty("user.dir") + File.separator + "conf"
        + File.separator + "user.keytab";
private static final String PATH_TO_KRB5_CONF = System.getProperty("user.dir") + File.separator + "conf"
        + File.separator + "krb5.conf";
...
```
En este proyecto de ejemplo, la hoja de ruta de desarrollo basada en los requisitos de servicio es la siguiente.

En el ejemplo siguiente se describe cómo leer, escribir y eliminar el archivo /user/hdfs-examples/test.txt en HDFS.
1. Pase la autenticación de seguridad del clúster.
2. Cree un objeto FileSystem: fSystem
3. Invoque a la API mkdir de fSystem para crear un directorio.
4. Invoque a create en fSystem para crear un objeto FSDataOutputStream out. Escriba datos en out invocando a write.
5. Invoque a append en fSystem para crear un objeto FSDataOutputStream out. Añada datos a out invocando a write.
6. Invoque a open en fSystem para crear un objeto FSDataInputStream in. Lea los archivos de in invocando a read.
7. Invoque delete en fSystem para eliminar un archivo.
8. Invoque delete en fSystem para eliminar una carpeta.

Creación y ejecución de la aplicación

Haga clic en Reimport All Maven Projects en la ventana Maven a la derecha de IDEA para cargar las dependencias del proyecto Maven.

Figura 2 Cargar un proyecto de muestra
Compilar y ejecutar la aplicación.
1. Elija Maven, busque el nombre del proyecto de destino y haga doble clic en clean en Lifecycle para ejecutar el comando clean de Maven.
2. Elija Maven, busque el nombre del proyecto de destino y haga doble clic en compile en Lifecycle para ejecutar el comando compile de Maven.
Una vez completada la construcción, se muestra el mensaje "Build Success" y se genera el directorio target.
```
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  21.276 s
[INFO] Finished at: 2023-05-05T14:36:39+08:00
[INFO] ------------------------------------------------------------------------
```
Ejecutar la aplicación.

Haga clic con el botón derecho en el archivo HdfsExample.java y elija Run 'HdfsExample.main()' en el menú contextual.

Figura 3 Ejecución de la aplicación

Compruebe la información de salida después de ejecutar la muestra. La siguiente información indica que las operaciones de archivo relacionadas se ejecutan correctamente:

...
2217 [main] INFO  org.apache.hadoop.security.UserGroupInformation  - Login successful for user developuser using keytab file user.keytab. Keytab auto renewal enabled : false
2217 [main] INFO  com.huawei.hadoop.security.LoginUtil  - Login success!!!!!!!!!!!!!!
3529 [main] WARN  org.apache.hadoop.hdfs.shortcircuit.DomainSocketFactory  - The short-circuit local reads feature cannot be used because UNIX Domain sockets are not available on Windows.
4632 [main] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to create path /user/hdfs-examples
5392 [main] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to write.
8200 [main] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to append.
9384 [main] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - result is : hi, I am bigdata. It is successful if you can see me.I append this content.
9384 [main] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to read.
9636 [main] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to delete the file /user/hdfs-examples\test.txt
9860 [main] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to delete path /user/hdfs-examples
10010 [hdfs_example_0] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to create path /user/hdfs-examples/hdfs_example_0
10069 [hdfs_example_1] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to create path /user/hdfs-examples/hdfs_example_1
10553 [hdfs_example_0] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to write.
10607 [hdfs_example_1] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to write.
13356 [hdfs_example_0] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to append.
13469 [hdfs_example_1] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to append.
13784 [hdfs_example_0] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - result is : hi, I am bigdata. It is successful if you can see me.I append this content.
13784 [hdfs_example_0] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to read.
13834 [hdfs_example_1] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - result is : hi, I am bigdata. It is successful if you can see me.I append this content.
13834 [hdfs_example_1] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to read.
13837 [hdfs_example_0] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to delete the file /user/hdfs-examples/hdfs_example_0\test.txt
13889 [hdfs_example_1] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to delete the file /user/hdfs-examples/hdfs_example_1\test.txt
14003 [hdfs_example_0] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to delete path /user/hdfs-examples/hdfs_example_0
14118 [hdfs_example_1] INFO  com.huawei.bigdata.hdfs.examples.HdfsExample  - success to delete path /user/hdfs-examples/hdfs_example_1
...

Tema principal: Desarrollo de aplicaciones de componentes MRS

Tema anterior: Desarrollo de aplicaciones de HBase

Tema siguiente: Desarrollo de aplicaciones de Hive JDBC

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar