Relación entre Flink y otros componentes

Relación entre Flink y YARN

Flink admite el modo de gestión de clústeres basado en YARN. En este modo, Flink sirve como una aplicación de YARN y se ejecuta en YARN.

Figura 1 muestra el despliegue del clúster de Flink basado en YARN.

Figura 1 Despliegue de clúster de Flink basada en YARN

1. El Flink YARN Client primero comprueba si hay suficientes recursos para iniciar el clúster de YARN. En caso afirmativo, el Flink YARN client carga archivos de JAR y archivos de configuración a HDFS.
2. Flink YARN client se comunica con YARN ResourceManager para solicitar un container para iniciar el ApplicationMaster. Después de que todos los NodeManagers de YARN terminen de descargar el archivo de JAR y los archivos de configuración, el ApplicationMaster se inicia.
3. Durante el inicio, ApplicationMaster interactúa con YARN ResourceManager para solicitar el container para iniciar un TaskManager. Una vez que el container está listo, se inicia el proceso de TaskManager.
4. En el clúster de Flink YARN, el ApplicationMaster y Flink JobManager se ejecutan en el mismo container. El ApplicationMaster informa a cada TaskManager de la dirección de RPC del JobManager. Después de iniciar TaskManagers, se registran en el JobManager.
5. Después de que todos los TaskManagers se hayan registrado con el JobManager Flink se inicia en el clúster de YARN. A continuación, el Flink YARN client puede enviar Flink jobs al JobManager y Flink puede realizar la asignación, programación y cálculo para los jobs.