Job Pipeline
Función de código abierto mejorada: Job Pipeline
- Cuando la lógica de servicio se vuelve cada vez más compleja, el tamaño de Fat JAR aumenta.
- Fat Jar hace que la coordinación sea compleja. Los desarrolladores de todos los servicios están trabajando con la misma lógica de servicio. Aunque la lógica de servicio puede dividirse en varios módulos, todos los módulos están estrechamente acoplados entre sí. Si es necesario cambiar el requisito, es necesario volver a planificar todo el diagrama de flujo.
- La transmisión de datos entre trabajos se puede lograr utilizando Kafka. Por ejemplo, el trabajo A transmite datos al topic A en Kafka y, a continuación, el trabajo B y el trabajo C leen datos del topic A en Kafka. Esta solución es simple y fácil de implementar, pero la latencia es siempre superior a 100 ms.
- Los operadores se conectan mediante el protocolo TCP. En un entorno distribuido, los operadores pueden programarse en cualquier nodo y los servicios ascendentes y descendentes no pueden detectar la programación.
Job Pipeline
Un Pipeline consiste en múltiples jobs de Flink conectados a través de TCP. Los jobs ascendentes pueden enviar datos a los jobs descendentes. El diagrama de flujo sobre la transmisión de datos se denomina canalización de trabajos, como se muestra en Figura 1.
Principios de Job Pipeline
- NettySink y NettySource
En un pipeline, los jobs ascendentes y descendentes se comunican entre sí a través de Netty. El operador Sink del job ascendente funciona como un server y el operador Source del job descendente funciona como un cliente. El operador Sink del job ascendente se denomina NettySink y el operador Source del job descendente se denomina NettySource.
- NettyServer y NettyClient
NettySink funciona como el servidor de Netty. En NettySink, NettyServer logra la función de un servidor. NettySource funciona como el cliente de Netty. En el NettySource, NettyClient cumple la función de un cliente.
- Publicador
El job que envía datos a jobs descendentes a través de NettySink se denomina publicador.
- Suscriptor
El job que recibe datos de jobs ascendentes a través de NettySource se denomina suscriptor.
- RegisterServer
RegisterServer es la memoria de terceros que almacena la dirección IP, el número de puerto y la información de simultaneidad de NettyServer.
- La arquitectura general exterior-interior es la siguiente:
- NettySink->NettyServer->NettyServerHandler
- NettySource->NettyClient->NettyClientHandler
Funciones de Job Pipeline
- NettySink
NettySink consta de los siguientes módulos principales:
- RichParallelSinkFunction
NettySink hereda el RichParallelSinkFunction y los atributos de los operadores de Sink. La API de RichParallelSinkFunction implementa las siguientes funciones:
- Inicia el operador de NettySink.
- Ejecuta el operador de NettySink y recibe datos del operador ascendente.
- Cancela la ejecución de los operadores de NettySink.
La siguiente información se puede obtener utilizando el atributo de RichParallelSinkFunction:
- subtaskIndex acerca de la concurrencia de cada operador de NettySink.
- Concurrencia del operador de NettySink.
- RegisterServerHandler
RegisterServerHandler interactúa con el componente de RegisterServer y define las siguientes API:
- start();: Inicia el RegisterServerHandler y establece un contacto con el RegisterServer de terceros.
- createTopicNode();: Crea un nodo de topic.
- register();: Registra información como la dirección IP, el número de puerto y la simultaneidad en el nodo de topic.
- deleteTopicNode();: Elimina un nodo de topic.
- unregister();: Borra la información de registro.
- query();: Consulta información de registro.
- isExist();: Verifica que existe una información específica.
- shutdown();: Desactiva el RegisterServerHandler y se desconecta del RegisterServer de terceros.
- API de RegisterServerHandler permite a ZooKeeper trabajar como el handler de RegisterServer. Puede personalizar su handler según sea necesario. La información se almacena en el ZooKeeper de la siguiente forma:
Namespace |---Topic-1 |---parallel-1 |---parallel-2 |.... |---parallel-n |---Topic-2 |---parallel-1 |---parallel-2 |.... |---parallel-m |...
- La información sobre NameSpace se puede obtener de los siguientes parámetros del archivo flink-conf.yaml:
nettyconnector.registerserver.topic.storage: /flink/nettyconnector
- La autenticación simple de autenticación y capa de seguridad (SASL) entre ZookeeperRegisterServerHandler y ZooKeeper se implementa a través del marco de Flink.
- Asegúrese de que cada job tiene un topic único. De lo contrario, la relación de suscripción puede ser poco clara.
- Al invocar a shutdown(), ZookeeperRegisterServerHandler elimina la información de registro sobre la concurrencia actual y, a continuación, intenta eliminar el nodo de topic. Si el nodo de topic no está vacío, se cancelará la eliminación, ya que no se ha terminado toda la concurrencia.
- NettyServer
NettyServer es el núcleo del operador de NettySink, cuya función principal es crear un NettyServer y recibir solicitudes de conexión de NettyClient. Utilice NettyServerHandler para enviar datos recibidos de operadores ascendentes de un mismo job. El número de puerto y la subred de NettyServer deben configurarse en el archivo flink-conf.yaml.
- Rango de puertos
nettyconnector.sinkserver.port.range: 28444-28943
- Subred
nettyconnector.sinkserver.subnet: 10.162.222.123/24
El parámetro nettyconnector.sinkserver.subnet se establece en la subred (dirección IP del servicio) del cliente Flink de forma predeterminada. Si el cliente y TaskManager no están en la misma subred, puede producirse un error. Por lo tanto, debe establecer manualmente este parámetro en la subred (dirección IP del servicio) de TaskManager.
- Rango de puertos
- NettyServerHandler
El handler permite la interacción entre NettySink y suscriptores. Después de que NettySink recibe mensajes, el handler envía estos mensajes. Para garantizar la seguridad de la transmisión de datos, este canal se encripta mediante SSL. El nettyconnector.ssl.enabled configura si se habilita la encriptación sw SSL. La encriptación de SSL solo se habilita cuando nettyconnector.ssl.enabled se establece en true.
- RichParallelSinkFunction
- NettySource
NettySource consta de los siguientes módulos principales:
- RichParallelSourceFunction
NettySource hereda RichParallelSinkFunction y atributos de los operadores de Source. La API de RichParallelSourceFunction implementa las siguientes funciones:
- Inicia el operador de NettySink.
- Ejecuta el operador de NettySink, recibe datos de los suscriptores e inyecta los datos a los jobs.
- Cancela la ejecución de operadores de Source.
La siguiente información se puede obtener utilizando el atributo RichParallelSourceFunction:
- subtaskIndex acerca de la concurrencia de cada operador de NettySource.
- Concurrencia del operador de NettySource.
Cuando el operador del NettySource entra en la etapa de ejecución, se monitoriza el estado del NettyClient. Una vez que ocurre la anomalía, NettyClient se reinicia y se vuelve a conectar a NettyServer evitando la confusión de datos.
- RegisterServerHandler
RegisterServerHandler de NettySource tiene una función similar a la del RegisterServerHandler de NettySink. Obtiene la dirección IP, número de puerto e información de operadores simultáneos de cada trabajo suscrito obtenido en el operador de NettySource.
- NettyClient
NettyClient establece una conexión con NettyServer y utiliza NettyClientHandler para recibir datos. Cada operador de NettySource debe tener un nombre único (especificado por el usuario). NettyServer determina si cada cliente proviene de NettySources diferentes basados en nombres únicos. Cuando se establece una conexión entre NettyClient y NettyServer, NettyClient se registra con NettyServer y el nombre de NettySource de NettyClient se transfiere a NettyServer.
- NettyClientHandler
El NettyClientHandler permite la interacción con los publicadores y otros operadores del job. Cuando se reciben mensajes, NettyClientHandler transfiere estos mensajes al job. Para garantizar la transmisión segura de los datos, NettySink está habilitado la encriptación de SSL para la comunicación con ellos. El encriptación SSL solo se habilita cuando SSL está habilitado y nettyconnector.ssl.enabled está establecido en true.
- RichParallelSourceFunction
