Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Enviar un trabajo en la GUI

Mostrar todo

Centro de ayuda/ MapReduce Service/ Pasos iniciales/ Compra y uso de un clúster MRS/ Creación de un trabajo

Creación de un trabajo

Actualización más reciente 2023-11-20 GMT+08:00

Ver PDF

Puede enviar programas desarrollados por usted mismo a MRS para ejecutarlos y obtener los resultados.

Esta sección describe cómo enviar un trabajo (tome un trabajo MapReduce como ejemplo) en la consola MRS. Los trabajos de MapReduce se utilizan para enviar programas JAR para procesar rápidamente cantidades masivas de datos en paralelo y crear un entorno de procesamiento y ejecución de datos distribuidos.

Si las funciones de gestión de archivos y trabajos no se admiten en la página de detalles del clúster, envíe los trabajos en segundo plano.

Antes de crear un trabajo, debe cargar datos locales en OBS para la computación y análisis de datos. MRS permite exportar datos de OBS a HDFS para computación y análisis. Después de completar el análisis de datos y la computación, puede almacenar los datos en HDFS o exportarlos a OBS. HDFS y OBS también pueden almacenar los datos comprimidos en el formato bz2 o gz.

NOTA:

Si el nombre de usuario de IAM contiene espacios (por ejemplo, admin 01), no se puede crear un trabajo.

Enviar un trabajo en la GUI

Inicie sesión en la consola de MRS.
Seleccione Clusters > Active Clusters, seleccione un clúster en ejecución y haga clic en su nombre para acceder a la página de detalles del clúster.
Si la autenticación de Kerberos está habilitada para el clúster, realice los siguientes pasos. Si la autenticación de Kerberos no está habilitada para el clúster, omita este paso.

En el área Basic Information de la página Dashboard, haga clic en Synchronize en el lado derecho de IAM User Sync para sincronizar usuarios de IAM.
Haga clic en la pestaña Jobs.
Haga clic en Create. Aparece el cuadro de diálogo Create Job.

En Type, seleccione MapReduce. Configurar otra información del trabajo.

**Tabla 1** Parámetros de trabajo
Parámetro	Descripción
Name	Nombre del trabajo. Contiene de 1 a 64 caracteres. Solo se permiten letras, dígitos, guiones medios (-) y guiones bajos (_). NOTA: Se recomienda establecer diferentes nombres para diferentes trabajos.
Program Path	Ruta del paquete de programa que se va a ejecutar. Se deben cumplir los siguientes requisitos: Contiene un máximo de 1,023 caracteres, excluidos caracteres especiales como ;\|&><'$. El valor del parámetro no puede estar vacío ni lleno de espacios. La ruta del programa a ejecutar se puede almacenar en HDFS u OBS. La ruta de acceso varía según el sistema de archivos. OBS: La ruta comienza con obs://. Ejemplo: *obs://wordcount/program/xxx.jar* HDFS: La ruta debe comenzar con /user. Para SparkScript y HiveScript, el camino debe terminar con .sql. En el caso de MapReduce, la ruta debe terminar con .jar. Para Flink y SparkSubmit la ruta debe terminar con .jar o .py. El .sql, .jar y el .py no distinguen entre mayúsculas y minúsculas.
Parameters	(Opcional) Es el parámetro clave para la ejecución del programa. Separe múltiples parámetros con espacio. Método de configuración: Program class name Data input path Data output path Nombre de la clase del programa: Es especificada por una función en su programa. MRS es responsable de la transferencia de parámetros solamente. Ruta de entrada de datos: Haga clic en HDFS o OBS para seleccionar una ruta o introduzca manualmente una ruta correcta. Ruta de salida de datos: Ingrese un directorio que no existe. El valor puede contener un máximo de 150,000 caracteres, incluidos caracteres especiales (;\|&'$), pero no puede contener > ni <. Este parámetro también se puede dejar en blanco. ATENCIÓN: Si introduce un parámetro con información confidencial (como la contraseña de inicio de sesión), el parámetro puede estar expuesto en la pantalla de detalles del trabajo y en la impresión del registro. Tenga cuidado al realizar esta operación.
Service Parameters	(Opcional) Se utiliza para modificar los parámetros de configuración del servicio para el trabajo que se va a ejecutar. La modificación del parámetro solo se aplica al trabajo que se va a ejecutar. Para agregar varios parámetros, haga clic en a la derecha. Para eliminar un parámetro, haga clic en Delete a la derecha. Tabla 2 describe los parámetros comunes de un servicio.
Command Reference	Comando enviado en segundo plano para su ejecución cuando se envía un trabajo.

**Tabla 2** Parámetros de configuración del servicio
Parámetro	Descripción	Valor de ejemplo
fs.obs.access.key	ID de clave para acceder a OBS.	-
fs.obs.secret.key	Clave correspondiente al ID de clave para acceder a OBS.	-

Confirme la información de configuración del trabajo y haga clic en OK.

Después de crear el trabajo, puede gestionarlo.

Tema principal: Compra y uso de un clúster MRS

Tema anterior: Carga de datos

Tema siguiente: Terminación de un clúster

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar