Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Mostrar todo

Centro de ayuda/ MapReduce Service/ Guía del usuario/ Gestión de clústeres/ Gestión de trabajo/ Introducción a los trabajos de MRS

Introducción a los trabajos de MRS

Actualización más reciente 2023-11-20 GMT+08:00

Ver PDF

Un trabajo MRS es la plataforma de ejecución de programas de MRS. Se utiliza para procesar y analizar datos de usuario. Después de crear un trabajo, toda la información del trabajo se muestra en la página de pestaña Jobs. Puede ver una lista de todos los trabajos y crear y gestionar trabajos. Si la pestaña Jobs no se muestra en la página de detalles del clúster, envíe un trabajo en segundo plano.

Las fuentes de datos procesadas por MRS son de OBS o HDFS. OBS es un servicio de almacenamiento basado en objetos que le proporciona capacidades de almacenamiento de datos masivas, seguras, confiables y rentables. MRS puede procesar datos en OBS directamente. Puede ver, gestionar y usar datos utilizando la página web de la plataforma de control de gestión o el cliente de OBS. Además, puede utilizar las API de REST de forma independiente o integrar las API en aplicaciones de servicio para gestionar y acceder a los datos.

Antes de crear trabajos, cargue los datos locales en OBS para que MRS calcule y analice. MRS permite exportar datos de OBS a HDFS para computación y análisis. Después de completar el análisis y la computación, puede almacenar los datos en HDFS o exportarlos a OBS. HDFS y OBS también pueden almacenar los datos comprimidos en el formato bz2 o gz.

Categoría

Un clúster de MRS permite crear y gestionar los siguientes trabajos: Si un clúster en estado Running no puede crear un trabajo, compruebe el estado de los componentes relacionados en la página de gestión del clúster. Para obtener más información, consulte Consulta y personalización de métricas de monitoreo de clústeres.

MapReduce: proporciona la capacidad de procesar datos masivos de forma rápida y paralela. Es un modo de procesamiento de datos distribuido y entorno de ejecución. MRS apoya la presentación de los programas de JAR de MapReduce.
Spark: un marco de computación en memoria distribuido. MRS admite trabajos de SparkSubmit, Spark Script y Spark SQL.
- SparkSubmit: Puede enviar los programas JAR y Python de Spark, ejecutar la aplicación de Spark y calcular y procesar datos de usuario.
- SparkScript: Puede enviar los scripts SparkScript y ejecutar por lotes sentencias de Spark SQL.
- Spark SQL: Puede usar sentencias de Spark SQL (similar a las sentencias SQL) para consultar y analizar datos de usuario en tiempo real.
Hive: un almacén de datos de código abierto basado en Hadoop. MRS le permite enviar scripts de HiveScript y ejecutar sentencias SQL de Hive.
Flink: proporciona un motor de procesamiento de big data distribuido que puede realizar cálculos con estado sobre flujos de datos tanto finitos como infinitos.

Lista de trabajos

Las tareas se muestran en orden cronológico de forma predeterminada en la lista de tareas, con los trabajos más recientes mostrados en la parte superior. Tabla 1 describe los parámetros en la lista de trabajos.

**Tabla 1** Parámetros de lista de trabajos
Parámetro	Descripción
Name/ID	Nombre del trabajo, que se establece cuando se crea un trabajo. ID es el identificador único de un trabajo. Después de agregar un trabajo, el sistema asigna automáticamente un valor a ID.
Username	Nombre del usuario que envía un trabajo.
Type	Se admiten los siguientes tipos de datos: DistCp: importación y exportación de datos MapReduce Spark SparkSubmit SparkScript Spark SQL Hive SQL HiveScript Flink NOTA: Después de importar y exportar archivos en la página de pestaña Files, puede ver el trabajo de DistCp en la página de pestaña Jobs. Los trabajos de Spark, Hive y Flink solo se pueden agregar cuando se seleccionan los componentes de Spark, Hive y Flink durante la creación del clúster y el clúster se está ejecutando.
Status	Estado del trabajo. Submitted Accepted Running Completed Terminated Abnormal
Result	Resultado de ejecución de un trabajo. Undefined: indica que el trabajo se está ejecutando. Successful: indica que el trabajo se ha ejecutado correctamente. Killed: indica que el trabajo se termina manualmente durante la ejecución. Failed: indica que el trabajo no se puede ejecutar. NOTA: Una vez que un trabajo ha tenido éxito o ha fallado, no puede volver a ejecutarlo. Sin embargo, puede agregar un trabajo y establecer parámetros de trabajo para volver a enviarlo.
Queue Name	Nombre de la cola enlazada al usuario que envía el trabajo
Submitted	Hora en que se envía un trabajo.
Ended	Hora en que se completa un trabajo o se detiene manualmente.
Operation	Ver registro: Haga clic en View Log para ver los registros en tiempo real de los trabajos en ejecución. Para obtener más información, consulte Consulta de la configuración de trabajos y registros. Ver detalles: Haga clic en View Details para ver la información de configuración detallada sobre los trabajos. Para obtener más información, consulte Consulta de la configuración de trabajos y registros. Más Detener: Puede hacer clic en Stop para detener un trabajo en ejecución. Para obtener más información, consulte Detener un trabajo. Eliminar: Haga clic en Delete para eliminar un trabajo. Para obtener más información, consulte Eliminación de un trabajo. Ver resultado: Haga clic en View Result para ver los resultados de ejecución de los trabajos de SparkSQL y SparkScript cuyo estado es de Completed y el resultado de Successful. NOTA: No se puede restaurar un trabajo eliminado. Por lo tanto, tenga cuidado al eliminar un trabajo. Si decide guardar los registros de trabajos en OBS o HDFS, el sistema comprime y guarda los registros en la ruta correspondiente una vez completada la ejecución del trabajo. Por lo tanto, una vez completada la ejecución de un trabajo de este tipo, el estado del trabajo sigue siendo Running. Una vez que el registro se ha almacenado correctamente, el estado del trabajo cambia a Completed. La duración del almacenamiento del registro depende del tamaño del registro y toma varios minutos.

**Tabla 2** Descripción de íconos
Ícono	Descripción
	Seleccione un intervalo de tiempo para el envío de trabajos para filtrar los trabajos enviados en el intervalo de tiempo.
	Seleccione un resultado de ejecución de trabajo determinado de la lista desplegable para mostrar trabajos del estado. All statuses: Filtra todos los trabajos. Successful: Filtrar trabajos que se ejecutan correctamente. Undefined: Filtrar los trabajos que se están ejecutando. Killed: Filtrar trabajos que se detienen manualmente. Failed: Filtrar trabajos que no se pueden ejecutar.
	Seleccione un tipo de trabajo determinado en la lista desplegable para mostrar trabajos del tipo. All types MapReduce HiveScript Distcp SparkScript Spark SQL Hive SQL SparkSubmit Flink
	En el cuadro de búsqueda, busque un trabajo mediante el establecimiento de la condición de búsqueda correspondiente y haga clic en . Job name. Job ID. Username. Queue name.
	Haga clic en para actualizar manualmente la lista de trabajos.

Descripción del permiso de ejecución del trabajo

Para un clúster de seguridad con autenticación de Kerberos habilitada, un usuario debe sincronizar un usuario de IAM antes de enviar un trabajo en la interfaz de usuario web de MRS. Una vez completada la sincronización, el sistema MRS genera un usuario con el mismo nombre de usuario IAM. Si un usuario tiene el permiso para enviar trabajos depende de la política de IAM vinculada al usuario durante la sincronización de IAM. Para obtener más información sobre la política de envío de trabajos, consulte Tabla 1 en Sincronización de usuarios de IAM a MRS.

Cuando un usuario envía un trabajo que implica el uso de recursos de un componente específico, como el acceso a directorios HDFS y tablas Hive, el usuario admin (Manager administrator) debe conceder el permiso correspondiente al usuario. A continuación, se detallan los pasos:

Inicie sesión en Manager como usuario admin.
Agregue el rol del componente cuyo permiso es requerido por el usuario. Para obtener más información, consulte Creación de un rol.
Cambie el grupo de usuarios al que pertenece el usuario que envía el trabajo y agregue el nuevo rol de componente al grupo de usuarios. Para obtener más información, consulte Tareas relacionadas.

NOTA:

Después de modificar el rol de componente enlazado al grupo de usuarios al que pertenece el usuario, los permisos de rol tardan algún tiempo en surtir efecto.

Tema principal: Gestión de trabajo

Tema anterior: Gestión de trabajo

Tema siguiente: Ejecución de un trabajo de MapReduce

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar