Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.
Centro de ayuda/ MapReduce Service/ Preguntas frecuentes/ Desarrollo de servicios de big data/ ¿Cómo lo hago si se informa de una alarma que indica memoria insuficiente durante la ejecución de la tarea de Spark?
Actualización más reciente 2023-11-20 GMT+08:00
Ver PDF
Compartir

¿Cómo lo hago si se informa de una alarma que indica memoria insuficiente durante la ejecución de la tarea de Spark?

Síntoma

Cuando se ejecuta una tarea de Spark, se informa de una alarma que indica una memoria insuficiente. El ID de alarma es 18022. Como resultado, no se puede usar memoria disponible.

Procedimiento

Establezca los parámetros del executor en el script SQL para limitar el número de núcleos y la memoria de un executor.

Por ejemplo, la configuración es la siguiente:

set hive.execution.engine=spark;
set spark.executor.cores=2;
set spark.executor.memory=4G;
set spark.executor.instances=10;

Cambie los valores de los parámetros según sea necesario.