¿Cuáles son las diferencias entre el modo de client y el modo de cluster de los trabajos de Spark?
Es necesario entender el concepto ApplicationMaster antes de entender las diferencias esenciales entre Yarn-client e Yarn-cluster.
En Yarn, cada instancia de aplicación tiene un proceso ApplicationMaster, que es el primer contenedor iniciado por la aplicación. Interactúa con ResourceManager y solicita recursos. Después de obtener recursos, indica a NodeManager que inicie Container. La diferencia esencial entre los modos Yarn-cluster e Yarn-client radica en el proceso ApplicationMaster.
En el modo Yarn-cluster, Driver se ejecuta en el ApplicationMaster que solicita recursos a Yarn y supervisa el estado de ejecución de un trabajo. Después de que un usuario envíe un trabajo, el cliente se puede detener y el trabajo continúa ejecutándose en Yarn. Por lo tanto, el modo Yarn-cluster no es adecuado para ejecutar trabajos interactivos.
En el modo Yarn-cliente, ApplicationMaster solo solicita al Executor de Yarn. El cliente se comunica con Constainer solicitado para programar tareas. Por lo tanto, el client no puede ser detenido.
Desarrollo del trabajo Preguntas frecuentes
- ¿Cómo obtengo mis datos en OBS o HDFS?
- ¿Qué tipos de trabajos de Spark se pueden enviar en un clúster?
- ¿Puedo ejecutar varias tareas de Spark al mismo tiempo después de que los recursos mínimos del tenant de un clúster MRS se cambien a 0?
- ¿Qué hago si no se pueden identificar los parámetros de trabajo separados por espacios?
- ¿Cuáles son las diferencias entre el modo de client y el modo de cluster de los trabajos de Spark?
- ¿Cómo puedo ver los registros de trabajos de MRS?
- ¿Cómo lo hago si se muestra el mensaje "The current user does not exist on MRS Manager. Grant the user sufficient permissions on IAM and then perform IAM user synchronization on the Dashboard tab page."?
- La ejecución de trabajo de LauncherJob se ha fallado y el mensaje de error "jobPropertiesMap is null." se muestra
- ¿Cómo lo hago si el estado del trabajo de Flink en la consola MRS es incompatible con el del Yarn?
- ¿Cómo lo hago si un trabajo de SparkStreaming falla después de haber sido ejecutado docenas de horas y se reporta el error OBS Access 403?
- ¿Cómo hago si se informa de una alarma que indica que la memoria es insuficiente cuando ejecuto una sentencia SQL en el cliente ClickHouse?
- ¿Cómo lo hago si se muestra un mensaje de error "java.io.IOException: Connection reset by peer" durante la ejecución de un trabajo de Spark?
- ¿Cómo hago si se muestra un mensaje de error "requestId=4971883851071737250" cuando un trabajo de Spark accede a OBS?
- ¿Cómo lo hago si se reporta el error "UnknownScannerExeception" del trabajo de Spark?
- ¿Por qué DataArtsStudio ocasionalmente no puede programar trabajos de Spark y la reprogramación también falla?
- ¿Cómo hago si un trabajo de Flink no se ejecuta y se muestra el mensaje de error "java.lang.NoSuchFieldError: SECURITY_SSL_ENCRYPT_ENABLED"?
- ¿Por qué no se puede ver el trabajo de Yarn enviado en la interfaz de usuario web?
- ¿Cómo modifico el HDFS NameSpace (fs.defaultFS) de un clúster existente?
- ¿Cómo lo hago si YARN detiene la cola de launcher-job debido a un heap size insuficiente cuando envío un trabajo de Flink en el plano de gestión?
- ¿Cómo lo hago si se muestra el mensaje de error "slot request timeout" cuando envío un trabajo de Flink?
- Importación y exportación de datos de trabajos de DistCP
- ¿Cómo puedo ver las sentencias SQL para los trabajos de Hive en la YARN Web UI?
- ¿Cómo puedo ver los registros de una tarea de Yarn especificada?
Comentarios
¿Le pareció útil esta página?
Deje algún comentariomore
