Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.
Centro de ayuda/
MapReduce Service/
Preguntas frecuentes/
Desarrollo de servicios de big data/
¿Qué debo hacer si spark.yarn.executor.memoryOverhead no tiene efecto?
Actualización más reciente 2023-11-20 GMT+08:00
¿Qué debo hacer si spark.yarn.executor.memoryOverhead no tiene efecto?
Síntoma
La memoria de sobrecarga del executor debe ajustarse para las tareas de Spark. El parámetro spark.yarn.executor.memoryOverhead se establece en 4096. Sin embargo, el valor predeterminado 1024 se utiliza para aplicar recursos durante el cálculo real.
Localización de fallas
En Spark 2.3 y versiones posteriores, utilice el nuevo parámetro spark.executor.memoryOverhead para establecer la memoria de sobrecarga del ejecutor. Si se establecen los parámetros antiguos y nuevos, el valor de spark.yarn.executor.memoryOverhead no tiene efecto y se utiliza el valor de spark.executor.memoryOverhead.
Lo mismo sucede si usa spark.driver.memoryOverhead para configurar la memoria de sobrecarga del controlador.
Procedimiento
Utilice el nuevo parámetro:
spark.executor.memoryOverhead=4096
Tema principal: Desarrollo de servicios de big data
Comentarios
¿Le pareció útil esta página?
Deje algún comentario
Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.
El sistema está ocupado. Vuelva a intentarlo más tarde.
