¿Cómo lo hago si se informa de una alarma que indica memoria insuficiente durante la ejecución de la tarea de Spark?

Síntoma

Cuando se ejecuta una tarea de Spark, se informa de una alarma que indica una memoria insuficiente. El ID de alarma es 18022. Como resultado, no se puede usar memoria disponible.

Procedimiento

Establezca los parámetros del executor en el script SQL para limitar el número de núcleos y la memoria de un executor.

Por ejemplo, la configuración es la siguiente:

set hive.execution.engine=spark;
set spark.executor.cores=2;
set spark.executor.memory=4G;
set spark.executor.instances=10;

Cambie los valores de los parámetros según sea necesario.