ALM-18020 Tiempo de espera de ejecución de tareas de Yarn

Descripción

El sistema comprueba las tareas de MapReduce y Spark (excepto las tareas permanentes de JDBC) enviadas a Yarn cada 15 minutos. Esta alarma se genera cuando el tiempo de ejecución de la tarea excede el tiempo de espera especificado por el usuario. Sin embargo, la tarea se puede ejecutar correctamente. El parámetro de tiempo de espera del cliente de MapReduce es: MapReduce.application.timeout.alarm y el de Spark es Spark.application.timeout.alarm. La unidad es ms.

Esta alarma se borra cuando finaliza la tarea.

Atributo

Parámetros

Impacto en el sistema

La alarma persiste después de que se agote el tiempo de ejecución de la tarea. Sin embargo, la tarea todavía se puede ejecutar correctamente, por lo que esta alarma no ejerce ningún impacto en el sistema.

Causas posibles

• El tiempo de espera especificado es más corto que el tiempo de ejecución requerido.
• Los recursos de cola para la tarea en ejecución son insuficientes.
• Se produce un sesgo de los datos de la tarea. Como resultado, algunas tareas procesan una gran cantidad de datos y tardan mucho en ejecutarse.

Procedimiento

Comprobar si el intervalo de tiempo de espera está configurado correctamente.

1. En FusionInsight Manager, seleccione O&M. En el panel de navegación de la izquierda, elija Alarm > Alarms. Se muestra la página Alarms.
2. Seleccione la alarma cuyo ID sea 18020. En los detalles de la alarma, vea Location para obtener el nombre de la tarea de tiempo de espera y la duración del tiempo de espera.
3. En función del nombre de la tarea y del intervalo de tiempo de espera, elija Cluster > Name of the desired cluster > Services > Yarn > ResourceManager (Active) para iniciar sesión en la página de Yarn nativa. A continuación, busque la tarea en la página nativa, compruebe su StartTime y calcule el tiempo de ejecución de la tarea en función de la hora actual del sistema. Compruebe si el tiempo de ejecución de la tarea excede el tiempo de espera.
   • En caso afirmativo, vaya a 4.
   • Si no, vaya a 10.

4. Evalúe el tiempo de ejecución de la tarea esperado en función del servicio y compárelo con el intervalo de tiempo de espera de la tarea. Si el intervalo de tiempo de espera es demasiado corto, establezca el intervalo de tiempo de espera (mapreduce.application.timeout.alarm o spark.application.timeout.alarm) del cliente en el tiempo de ejecución esperado de la tarea. Vuelva a ejecutar la tarea y compruebe si la alarma está borrada.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 5.

Comprobar si los recursos de la cola son suficientes.

5. Busque la tarea en la página nativa y vea el nombre de la cola de la tarea. Haga clic en Scheduler a la izquierda de la página nativa. En la página Applications Queues, busque el nombre de la cola correspondiente y expanda los detalles de la cola, como se muestra en la siguiente figura.

   

6. Compruebe si el valor de Used Resources en los detalles de la cola es aproximadamente igual al valor de Max Resources que indica que los recursos de la cola enviada por la tarea se han agotado. Si los recursos de la cola son insuficientes, elija Tenant Resources > Dynamic Resource Plan > Resource Distribution Policy en FusionInsight Manager y aumente el valor de Max Resources para la cola. Vuelva a ejecutar la tarea y compruebe si la alarma está borrada.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 7.

Comprobar si se produce un sesgo de datos.

7. En la página de Yarn nativa, haga clic en task ID (por ejemplo, en application_1565337919723_0002) > Tracking URL:ApplicationMaster > job_1565337919723_0002. Aparecerá en la pantalla la página siguiente.

   

8. Seleccione Job > Map tasks o Job > Reduce tasks a la izquierda y compruebe si el tiempo de ejecución de cada tarea de Map o Reduce difiere mucho. Si es así, se produce un sesgo de los datos de la tarea. En este caso, debe equilibrar los datos de la tarea.
9. Rectifique la falla basada en las causas anteriores y realice las tareas de nuevo. A continuación, compruebe si la alarma persiste.
   • En caso afirmativo, vaya a 10.
   • En caso negativo, no se requiere ninguna otra acción.

Recopilar información de fallas.

10. En FusionInsight Manager, seleccione O&M. En el panel de navegación de la izquierda, elija Log > Download.
11. Expanda la lista desplegable Service y seleccione Yarn para el clúster de destino.
12. Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 10 minutos antes y después del tiempo de generación de alarmas, respectivamente. A continuación, haga clic en Download.
13. Póngase en contacto con y proporcione los registros recopilados.

Eliminación de alarmas

Esta alarma se borra automáticamente después de rectificar la falla.

Información relacionada

Ninguna