Uso de Hadoop desde el principio

Procedimiento

1. Comprar un clúster MRS.
   1. Inicie sesión en la consola Huawei Cloud.
   2. Elija Service List >Analytics >MapReduce Service.
   3. En la página Active Clusters que se muestra, haga clic en Buy Cluster.
   4. Haga clic en la pestaña Custom Config.

2. Configurar software.
   1. Region: Seleccione una región según sea necesario.
   2. Billing Mode: Seleccione Pay-per-use.
   3. Cluster Name: Introduzca mrs_demo o especifique un nombre de acuerdo con las reglas de nomenclatura.
   4. Cluster Version: Seleccione MRS 3.1.0.
   5. Cluster Type: Seleccione Analysis Cluster.
   6. Seleccione todos los componentes del clúster de análisis.
   7. Haga clic en Next.

3. Configurar hardware.
   1. AZ: Seleccione AZ2.
   2. Enterprise Project: Seleccione default.
   3. VPC y Subnet: Conserve los valores predeterminados o haga clic en View VPC y View Subnet para crearlos.
   4. Security Group - Utilice el valor predeterminado Security Group.
   5. EIP: Bind later está seleccionado de forma predeterminada.
   6. Cluster Node: Conserve los valores predeterminados. No agregue nodos de tarea.
   7. Haga clic en Next.

4. Establecer opciones avanzadas.
   1. Kerberos Authentication: Disabled
   2. Username: admin se utiliza de forma predeterminada.
   3. Password y Confirm Password: Configúrelos con la contraseña del administrador del FusionInsight Manager.
   4. Login Mode: Seleccione Password. Ingrese una contraseña y confirme la contraseña para usuario root.
   5. Host Name Prefix: Conserve el valor predeterminado.
   6. Seleccione Advanced Settings y establezca Agency en MRS_ECS_DEFAULT_AGENCY.
   7. Haga clic en Next.

5. Confirmar la configuración.
   1. Configure: Confirme los parámetros configurados en las áreas Configure Software, Configure Hardware y Set Advanced Options.
   2. Secure Communications: Seleccione Enable.
   3. Haga clic en Buy Now. Se muestra la página que muestra que la tarea se ha enviado.
   4. Haga clic en Back to Cluster List. Puede ver el estado del clúster en la página Active Clusters. Espere a que se complete la creación del clúster. El estado inicial del clúster es Starting. Una vez creado el clúster, el estado del clúster pasa a ser Running.

6. Preparar el programa de muestra de Hadoop y archivos de datos.
   1. Prepare el programa de recuento de palabras.

      Descargue el programa de muestra de Hadoop (incluido wordcount). hadoop-3.3.1.tar.gz se utiliza como ejemplo. Utilice la versión real del programa proporcionada en el enlace. Por ejemplo, elija hadoop-3.3.1. En la página que se muestra, haga clic en hadoop-3.3.1.tar.gz para descargarla. A continuación, descomprima para obtener hadoop-mapreduce-examples-3.3.1.jar (el programa de muestra de Hadoop) de hadoop-3.3.1\share\hadoop\mapreduce.

   2. Prepare los archivos de datos.

      No se requiere el formato de los archivos de datos. Prepare dos archivos .txt. En este ejemplo, se utilizan los archivos wordcount1.txt y wordcount2.txt.

7. Subir datos a OBS.
   1. Inicie sesión en la consola de OBS y elija Parallel File Systems. En la página Parallel File Systems, haga clic en Create Parallel File System. En la página Create Parallel File System que se muestra, configure los parámetros para crear un sistema de archivos denominado mrs-word01.
   2. Haga clic en el nombre del sistema de archivos mrs-word01. En el panel de navegación de la izquierda, elija Files. En la página que se muestra, haga clic en Create Folder para crear las carpetas program e input.
   3. Vaya a la carpeta program y cargue el programa de muestra de Hadoop descargado en el programa de 6.
   4. Vaya a la carpeta input y cargue los archivos de datos wordcount1.txt y wordcount2.txt preparados en 6.
   5. Para enviar un trabajo en la interfaz gráfica de usuario, vaya a 8.

      Para enviar un trabajo a través de un nodo de clúster, vaya a 9.

8. Enviar un trabajo en la GUI.
   1. En el panel de navegación de la consola de MRS, elija Clusters > Active Clusters. En la página Active Clusters, haga clic en el clúster mrs_demo.
   2. En la página de información del clúster, haga clic en la pestaña Jobs y luego en Create para crear un trabajo. Para enviar un trabajo a través de un nodo de clúster, vaya a 9.
   3. Type: MapReduce
   4. Job Name: Ingrese wordcount.
   5. Program Path: Haga clic en OBS y seleccione el programa de muestra de Hadoop subido a 7.
   6. Parameters: Ingrese wordcount obs://mrs-word01/input/ obs://mrs-word01/output/. output indica la ruta de salida. Introduzca un directorio que no existe.
   7. Service Parameters: Déjalo en blanco.
   8. Haga clic en OK para enviar el trabajo. Después de enviar un trabajo, se encuentra en el estado Accepted de forma predeterminada. No necesita ejecutar el trabajo de forma manual.
   9. Vaya a la página de pestaña Jobs, vea el estado y los registros del trabajo y vaya a 10 para ver el resultado de la ejecución del trabajo.

9. Enviar un trabajo a través de un nodo de clúster.
   1. Inicie sesión en la consola MRS y haga clic en el clúster denominado mrs_demo para ir a su página de detalles.
   2. Haga clic en la pestaña Nodes. En esta página de pestaña, haga clic en el nombre de un nodo master para ir a la consola de gestión de ECS.
   3. Haga clic en Remote Login en la esquina superior derecha de la página.
   4. Introduzca el nombre de usuario y la contraseña del nodo de Master como se le solicite. El nombre de usuario es root y la contraseña es la configurada durante la creación del clúster.
   5. Ejecute el comando source /opt/Bigdata/client/bigdata_env para configurar las variables de entorno.
   6. Si se ha habilitado la autenticación Kerberos, ejecute el comando kinit MRS cluster user, por ejemplo, kinit admin, para autenticar al usuario del clúster actual. Omita este paso si la autenticación Kerberos no está habilitada.
   7. Ejecute el siguiente comando para copiar el programa de ejemplo en el bucket OBS al nodo master del clúster:

      hadoop fs -Dfs.obs.access.key=AK -Dfs.obs.secret.key=SK -copyToLocal source_path.jar target_path.jar Example: hadoop fs -Dfs.obs.access.key=XXXX -Dfs.obs.secret.key=XXXX -copyToLocal "obs://mrs-word01/program/hadoop-mapreduce-examples-XXX.jar" "/home/omm/hadoop-mapreduce-examples-XXX.jar" Para obtener el par AK/SK para iniciar sesión en la consola OBS, coloque el cursor sobre el nombre de usuario en la esquina superior derecha de la consola de gestión, y elija My Credentials > Access Keys, o haga clic en Create Access Key para crear una.

   8. Ejecute el siguiente comando para enviar un trabajo de wordcount. Para leer o escribir datos en OBS, agregue parámetros AK/SK. source /opt/Bigdata/client/bigdata_env;hadoop jar execute_jar wordcount input_path output_path Example: source /opt/Bigdata/client/bigdata_env;hadoop jar /home/omm/hadoop-mapreduce-examples-XXX.jar wordcount -Dfs.obs.access.key=XXXX -Dfs.obs.secret.key=XXXX "obs://mrs-word01/input/*" "obs://mrs-word01/output/" En este comando, input_path indica una ruta para almacenar archivos de entrada de trabajo en OBS. output_path indica una ruta para almacenar archivos de salida de trabajo en OBS y debe establecerse en un directorio que no existe

10. Consultar resultados de ejecución de trabajos.
    1. Inicie sesión en la consola OBS y haga clic en el nombre del sistema de archivos paralelo mrs-word01.
    2. En la página que se muestra, elija Files en el panel de navegación de la izquierda. Vaya a la ruta de salida en el bucket mrs-word01 especificado durante el envío del trabajo y vea el archivo de salida del trabajo. Necesita descargar el archivo en el host local y abrirlo en formato .txt.