Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.
Centro de ayuda>
MapReduce Service>
Preguntas frecuentes>
Desarrollo del trabajo>
¿Por qué DataArtsStudio ocasionalmente no puede programar trabajos de Spark y la reprogramación también falla?
Actualización más reciente 2023-11-20 GMT+08:00
¿Por qué DataArtsStudio ocasionalmente no puede programar trabajos de Spark y la reprogramación también falla?
Síntoma
DataArtsStudio ocasionalmente no puede programar los trabajos de Spark y la reprogramación también falla. Se muestra la siguiente información de error:
Caused by: org.apache.spark.SparkException: Application application_1619511926396_2586346 finished with failed status
Solución
Inicie sesión en el nodo donde se encuentra el cliente Spark como usuario root y aumente el valor del parámetro spark.driver.memory en el archivo spark-defaults.conf.
Tema principal: Desarrollo del trabajo
Desarrollo del trabajo Preguntas frecuentes
- ¿Cómo obtengo mis datos en OBS o HDFS?
- ¿Qué tipos de trabajos de Spark se pueden enviar en un clúster?
- ¿Puedo ejecutar varias tareas de Spark al mismo tiempo después de que los recursos mínimos del tenant de un clúster MRS se cambien a 0?
- ¿Qué hago si no se pueden identificar los parámetros de trabajo separados por espacios?
- ¿Cuáles son las diferencias entre el modo de client y el modo de cluster de los trabajos de Spark?
- ¿Cómo puedo ver los registros de trabajos de MRS?
- ¿Cómo lo hago si se muestra el mensaje "The current user does not exist on MRS Manager. Grant the user sufficient permissions on IAM and then perform IAM user synchronization on the Dashboard tab page."?
- La ejecución de trabajo de LauncherJob se ha fallado y el mensaje de error "jobPropertiesMap is null." se muestra
- ¿Cómo lo hago si el estado del trabajo de Flink en la consola MRS es incompatible con el del Yarn?
- ¿Cómo lo hago si un trabajo de SparkStreaming falla después de haber sido ejecutado docenas de horas y se reporta el error OBS Access 403?
- ¿Cómo hago si se informa de una alarma que indica que la memoria es insuficiente cuando ejecuto una sentencia SQL en el cliente ClickHouse?
- ¿Cómo lo hago si se muestra un mensaje de error "java.io.IOException: Connection reset by peer" durante la ejecución de un trabajo de Spark?
- ¿Cómo hago si se muestra un mensaje de error "requestId=4971883851071737250" cuando un trabajo de Spark accede a OBS?
- ¿Cómo lo hago si se reporta el error "UnknownScannerExeception" del trabajo de Spark?
- ¿Por qué DataArtsStudio ocasionalmente no puede programar trabajos de Spark y la reprogramación también falla?
- ¿Cómo hago si un trabajo de Flink no se ejecuta y se muestra el mensaje de error "java.lang.NoSuchFieldError: SECURITY_SSL_ENCRYPT_ENABLED"?
- ¿Por qué no se puede ver el trabajo de Yarn enviado en la interfaz de usuario web?
- ¿Cómo modifico el HDFS NameSpace (fs.defaultFS) de un clúster existente?
- ¿Cómo lo hago si YARN detiene la cola de launcher-job debido a un heap size insuficiente cuando envío un trabajo de Flink en el plano de gestión?
- ¿Cómo lo hago si se muestra el mensaje de error "slot request timeout" cuando envío un trabajo de Flink?
- Importación y exportación de datos de trabajos de DistCP
- ¿Cómo puedo ver las sentencias SQL para los trabajos de Hive en la YARN Web UI?
- ¿Cómo puedo ver los registros de una tarea de Yarn especificada?
Comentarios
¿Le pareció útil esta página?
Deje algún comentario
Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.
El sistema está ocupado. Vuelva a intentarlo más tarde.
more
