Desarrollo de aplicaciones de HDFS
Hadoop Distribute File System (HDFS) es un sistema de archivos distribuido que se ejecuta en hardware universal. Cuenta con una alta tolerancia a fallos y admite acceso a datos de alto rendimiento. Es adecuado para procesar conjuntos de datos a gran escala.
HDFS es adecuado para los siguientes escenarios de aplicación:
- Procesamiento de cantidades masivas de datos (TB o PB y mayores)
- Escenarios que requieren un alto rendimiento
- Escenarios que requieren alta confiabilidad
- Escenarios que requieren una excelente escalabilidad
MRS proporciona ejemplos de proyectos de desarrollo de aplicaciones basados en HBase. Esta práctica proporciona orientación para obtener e importar un proyecto de ejemplo después de crear un clúster MRS y, a continuación, compilar y depurar el código localmente. En este proyecto de ejemplo, puede crear directorios HDFS y escribir, leer y eliminar archivos.
Creación de un clúster MRS Hadoop
- Cree y compre un clúster MRS que contenga Hadoop. Para obtener más información, consulte Compra de un clúster personalizado.
En esta práctica, se utiliza como ejemplo un clúster MRS 3.2.0-LTS.1, con Hadoop instalado y con la autenticación Kerberos habilitada.
- Haga clic en Buy Now y espere hasta que se cree el clúster MRS.
Preparación del archivo de configuración de desarrollo de aplicaciones
- Inicie sesión en FusionInsight Manager y cree un usuario del clúster para la autenticación de seguridad del proyecto de ejemplo.
Elija System > Permission > User. En la página mostrada, haga clic en Create. En la página mostrada, cree un usuario máquina-máquina, por ejemplo, developuser.
Añada el grupo de usuarios hadoop a User Group.
- Elija System > Permission > User. En la columna Operation de developuser, elija More > Download Authentication Credential. Guarde el archivo y descomprímalo para obtener los archivos user.keytab y krb5.conf del usuario.
- Elija Cluster. En la pestaña Dashboard, haga clic en More y seleccione Download Client. En el cuadro de diálogo que se muestra, establezca Select Client Type en Configuration Files Only y haga clic en OK. Después de generar el paquete cliente, descargue el paquete como se le indique y descomprima.
Por ejemplo, si el paquete del archivo de configuración del cliente es FusionInsight_Cluster_1_Services_Client.tar, descomprima para obtener FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar. A continuación, continúe para descomprimir este archivo.
- Vaya al directorio FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles\HDFS\config y obtenga los archivos de configuración que aparecen en la lista de Tabla 1.
- Copie todo el contenido del archivo hosts en el directorio de descompresión al archivo hosts local. Asegúrese de que el PC local pueda comunicarse con los hosts que figuran en el archivo hosts del directorio de descompresión.
- En esta práctica, asegúrese de que el entorno local puede comunicarse con el plano de red donde se despliega el clúster MRS. En general, puede acceder al clúster MRS a través de una EIP.
- Si el entorno local no puede comunicarse con los nodos del clúster MRS, puede crear primero el proyecto de ejemplo y cargar el paquete JAR en el clúster para ejecutarlo.
- C:\WINDOWS\system32\drivers\etc\hosts es un directorio de ejemplo en un entorno Windows para almacenar el archivo hosts local.
Obtención del proyecto de muestra
- Obtenga el proyecto de muestra de Huawei Mirrors.
Descargue el código fuente y los archivos de configuración del proyecto de ejemplo, y configure las herramientas de desarrollo relacionadas en su PC local. Para obtener más información, consulte Obtención de proyectos de muestra desde Huawei Mirros.
Seleccione una rama basada en la versión del clúster y descargue el proyecto de muestra de MRS requerido.
Por ejemplo, el proyecto de muestra adecuado para esta práctica es hdfs-example-security, que se puede obtener en https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.2.0.1/src/hdfs-example-security.
- Utilice IDEA para importar el proyecto de ejemplo y espere a que el proyecto Maven descargue los paquetes de dependencias. Para obtener más información, consulte Configuración e importación de proyectos de muestra.
Figura 1 Proyecto de muestra de HDFS
Después de configurar los parámetros Maven y SDK en el PC local, el proyecto de ejemplo carga automáticamente paquetes de dependencias relacionados.
- Coloque los archivos de configuración del clúster y las credenciales de autenticación de usuario obtenidas en Preparación del archivo de configuración de desarrollo de aplicaciones al directorio conf del proyecto de ejemplo.
- Utilice el código de autenticación requerido para el proyecto de ejemplo de HDFS. Generalmente, hay autenticación de seguridad y autenticación de ZooKeeper.
En este ejemplo, no es necesario acceder a ZooKeeper o HBase. Solo se requiere el código de autenticación de seguridad básico.
En la clase HdfsExample del paquete com.huawei.bigdata.hdfs.examples, cambie PRNCIPAL_NAME por el nombre de usuario que está utilizando, por ejemplo, developuser.private static final String PATH_TO_HDFS_SITE_XML = System.getProperty("user.dir") + File.separator + "conf" + File.separator + "hdfs-site.xml"; private static final String PATH_TO_CORE_SITE_XML = System.getProperty("user.dir") + File.separator + "conf" + File.separator + "core-site.xml"; private static final String PRNCIPAL_NAME = "developuser"; private static final String PATH_TO_KEYTAB = System.getProperty("user.dir") + File.separator + "conf" + File.separator + "user.keytab"; private static final String PATH_TO_KRB5_CONF = System.getProperty("user.dir") + File.separator + "conf" + File.separator + "krb5.conf"; ...En este proyecto de ejemplo, la hoja de ruta de desarrollo basada en los requisitos de servicio es la siguiente.
En el ejemplo siguiente se describe cómo leer, escribir y eliminar el archivo /user/hdfs-examples/test.txt en HDFS.
- Pase la autenticación de seguridad del clúster.
- Cree un objeto FileSystem: fSystem
- Invoque a la API mkdir de fSystem para crear un directorio.
- Invoque a create en fSystem para crear un objeto FSDataOutputStream out. Escriba datos en out invocando a write.
- Invoque a append en fSystem para crear un objeto FSDataOutputStream out. Añada datos a out invocando a write.
- Invoque a open en fSystem para crear un objeto FSDataInputStream in. Lea los archivos de in invocando a read.
- Invoque delete en fSystem para eliminar un archivo.
- Invoque delete en fSystem para eliminar una carpeta.
Creación y ejecución de la aplicación
- Haga clic en Reimport All Maven Projects en la ventana Maven a la derecha de IDEA para cargar las dependencias del proyecto Maven.
Figura 2 Cargar un proyecto de muestra
- Compilar y ejecutar la aplicación.
- Elija Maven, busque el nombre del proyecto de destino y haga doble clic en clean en Lifecycle para ejecutar el comando clean de Maven.
- Elija Maven, busque el nombre del proyecto de destino y haga doble clic en compile en Lifecycle para ejecutar el comando compile de Maven.
Una vez completada la construcción, se muestra el mensaje "Build Success" y se genera el directorio target.
[INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 21.276 s [INFO] Finished at: 2023-05-05T14:36:39+08:00 [INFO] ------------------------------------------------------------------------
- Ejecutar la aplicación.
Haga clic con el botón derecho en el archivo HdfsExample.java y elija Run 'HdfsExample.main()' en el menú contextual.
Figura 3 Ejecución de la aplicación
- Compruebe la información de salida después de ejecutar la muestra. La siguiente información indica que las operaciones de archivo relacionadas se ejecutan correctamente:
... 2217 [main] INFO org.apache.hadoop.security.UserGroupInformation - Login successful for user developuser using keytab file user.keytab. Keytab auto renewal enabled : false 2217 [main] INFO com.huawei.hadoop.security.LoginUtil - Login success!!!!!!!!!!!!!! 3529 [main] WARN org.apache.hadoop.hdfs.shortcircuit.DomainSocketFactory - The short-circuit local reads feature cannot be used because UNIX Domain sockets are not available on Windows. 4632 [main] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to create path /user/hdfs-examples 5392 [main] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to write. 8200 [main] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to append. 9384 [main] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - result is : hi, I am bigdata. It is successful if you can see me.I append this content. 9384 [main] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to read. 9636 [main] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to delete the file /user/hdfs-examples\test.txt 9860 [main] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to delete path /user/hdfs-examples 10010 [hdfs_example_0] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to create path /user/hdfs-examples/hdfs_example_0 10069 [hdfs_example_1] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to create path /user/hdfs-examples/hdfs_example_1 10553 [hdfs_example_0] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to write. 10607 [hdfs_example_1] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to write. 13356 [hdfs_example_0] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to append. 13469 [hdfs_example_1] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to append. 13784 [hdfs_example_0] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - result is : hi, I am bigdata. It is successful if you can see me.I append this content. 13784 [hdfs_example_0] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to read. 13834 [hdfs_example_1] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - result is : hi, I am bigdata. It is successful if you can see me.I append this content. 13834 [hdfs_example_1] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to read. 13837 [hdfs_example_0] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to delete the file /user/hdfs-examples/hdfs_example_0\test.txt 13889 [hdfs_example_1] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to delete the file /user/hdfs-examples/hdfs_example_1\test.txt 14003 [hdfs_example_0] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to delete path /user/hdfs-examples/hdfs_example_0 14118 [hdfs_example_1] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to delete path /user/hdfs-examples/hdfs_example_1 ...
