Principios básicos de Flume
Flume es un sistema distribuido, confiable y de alta disponibilidad que admite la recopilación, agregación y transmisión masivas de log. Flume admite la personalización de varios emisores de datos en el sistema de log para la recopilación de datos. Además, Flume puede procesar datos y escribir datos en varios receptores de datos (personalizables). Un Flume-NG es una rama de Flume. Es simple, pequeño y fácil de implementar. La siguiente figura muestra la arquitectura básica del Flume-NG.
Un Flume-NG consiste en agents. Cada agent consta de tres componentes (source, channel, y sink). Se utiliza source para recibir datos. Se utiliza channel para transmitir datos. Se utiliza sink para enviar datos al siguiente extremo.
|
Módulo |
Descripción |
|---|---|
|
Source |
Source recibe datos o genera datos usando un mecanismo especial, y coloca los datos en lotes en uno o más channels. Source puede funcionar en modo controlado por datos o sondeo. Los tipos de source típicos son los siguientes:
Source debe estar asociada con al menos un channel. |
|
Channel |
Channel se utiliza para almacenar datos entre source y sink. Channel almacena en caché los datos de source y borra esos datos después de que sink envía los datos al channel del salto siguiente o al destino final. Diferentes channels proporcionan diferentes niveles de persistencia.
Channel admite la función de transacción para garantizar operaciones secuenciales simples. Channel puede trabajar con sources y sinks de cualquier cantidad. |
|
Sink |
Sink envía datos al channel de salto siguiente o al destino final. Una vez completado, los datos transmitidos se eliminan del channel. Los tipos tipicos de sink son los siguientes:
Un sink debe estar asociado con un canal específico. |
Como se muestra en Figura 2, un cliente de Flume puede tener múltiples sources, channels, y sinks.
La confiabilidad de Flume depende de los cambios de transacción entre agents. Si el siguiente agent se descompone, el canal almacena datos de forma persistente y transmite datos hasta que el agente se recupera. La disponibilidad de Flume depende de los mecanismos integrados de balanceo de carga y migración por falla. Tanto el channel como el agent pueden configurarse con varias entidades entre las que pueden usar políticas de balanceo de carga. Cada agent es un proceso de máquina virtual de Java (JVM). Un servidor puede tener varios agents. Los nodos de recopilación (por ejemplo, Agents 1, 2, 3) procesan logs. Los nodos de agregación (por ejemplo, el Agente 4) escriben los logs en HDFS. El agent de cada nodo de recopilación puede seleccionar múltiples nodos de agregación para el balanceo de carga.
Para obtener más información sobre la arquitectura y los principios de Flume, consulte https://flume.apache.org/releases/1.9.0.html.
Principio
Confiabilidad entre agents
Figura 4 muestra el intercambio de datos entre agents.
- Flume garantiza una transmisión de datos confiable basada en transacciones. Cuando los datos fluyen de un agente a otro agente, las dos transacciones tienen efecto. El sink del Agent 1 (agente que envía un mensaje) necesita obtener un mensaje de un channel y envía el mensaje al Agent 2 (agente que recibe el mensaje). Si Agent 2 recibe y procesa con éxito el mensaje, Agent 1 enviará una transacción, indicando una transmisión de datos satisfactoria y confiable.
- Cuando Agent 2 recibe el mensaje enviado por el Agent 1 e inicia una nueva transacción, después de que los datos se procesan con éxito (escritos en un channel), Agent 2 envía la transacción y envía una respuesta satisfactoria al Agent 1.
- Antes de una operación de confirmación, si la transmisión de datos falla, la última transcripción comienza y retransmite los datos que no se transmiten la última vez. La operación de confirmación ha escrito la transacción en un disco. Por lo tanto, la última transacción puede continuar después de que el proceso falle y se restaure.
