Este conteúdo foi traduzido por máquina para sua conveniência e a Huawei Cloud não pode garantir que o conteúdo foi traduzido com precisão. Para exibir o conteúdo original, use o link no canto superior direito para mudar para a página em inglês.
Central de ajuda/ MapReduce Service/ Visão geral de serviço/ Componentes/ Flink/ Relação entre Flink e outros componentes
Atualizado em 2023-05-19 GMT+08:00
Ver PDF
Compartilhar

Relação entre Flink e outros componentes

Relação entre Flink e YARN

O Flink suporta o modo de gerenciamento de cluster baseado em YARN. Neste modo, o Flink serve como uma aplicação do YARN e é executado no YARN.

Figura 1 mostra a implementação do cluster Flink baseado em YARN.

Figura 1 Implementação de cluster de Flink baseado em YARN
  1. O cliente de Flink YARN primeiro verifica se há recursos suficientes para iniciar o cluster de YARN. Se sim, o cliente de Flink YARN carrega arquivos JAR e arquivos de configuração para o HDFS.
  2. O cliente de Flink YARN se comunica com o ResourceManager do YARN para solicitar um contêiner para iniciar ApplicationMaster. Depois que todos os NodeManagers do YARN terminarem de baixar o arquivo JAR e os arquivos de configuração, o ApplicationMaster será iniciado.
  3. Durante a inicialização, o ApplicationMaster interage com o ResourceManager do YARN para solicitar o contêiner para iniciar um TaskManager. Depois que o contêiner estiver pronto, o processo de TaskManager é iniciado.
  4. No cluster de Flink YARN, os ApplicationMaster e JobManager do Flink estão sendo executados no mesmo contêiner. O ApplicationMaster informa a cada TaskManager o endereço RPC do JobManager. Depois que os TaskManagers são iniciados, eles se registram no JobManager.
  5. Depois que todos os TaskManagers for registrado no JobManager, o Flink será inicializado no cluster do YARN. O cliente de Flink YARN pode enviar jobs do Flink ao JobManager e o Flink pode mapear, agendar e calcular os jobs.
Tópico principal: Flink