Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Principio

Mostrar todo

Centro de ayuda/ MapReduce Service/ Descripción general del servicio/ Componentes/ Flume/ Principios básicos de Flume

Principios básicos de Flume

Actualización más reciente 2023-04-14 GMT+08:00

Ver PDF

Flume es un sistema distribuido, confiable y de alta disponibilidad que admite la recopilación, agregación y transmisión masivas de log. Flume admite la personalización de varios emisores de datos en el sistema de log para la recopilación de datos. Además, Flume puede procesar datos y escribir datos en varios receptores de datos (personalizables). Un Flume-NG es una rama de Flume. Es simple, pequeño y fácil de implementar. La siguiente figura muestra la arquitectura básica del Flume-NG.

Figura 1 Arquitectura de Flume-NG
haga clic para agrandar

Un Flume-NG consiste en agents. Cada agent consta de tres componentes (source, channel, y sink). Se utiliza source para recibir datos. Se utiliza channel para transmitir datos. Se utiliza sink para enviar datos al siguiente extremo.

**Tabla 1** Descripción del módulo
Módulo	Descripción
Source	Source recibe datos o genera datos usando un mecanismo especial, y coloca los datos en lotes en uno o más channels. Source puede funcionar en modo controlado por datos o sondeo. Los tipos de source típicos son los siguientes: Sources integradas con el sistema, como Syslog y Netcat Sources que generan eventos automáticamente, como Exec y SEQ Sources de IPC que se utilizan para la comunicación entre agents, como Avro Source debe estar asociada con al menos un channel.
Channel	Channel se utiliza para almacenar datos entre source y sink. Channel almacena en caché los datos de source y borra esos datos después de que sink envía los datos al channel del salto siguiente o al destino final. Diferentes channels proporcionan diferentes niveles de persistencia. Memory channel: no persistencia File channel: persistencia basada en registro de escritura previa (WAL) JDBC channel: persistencia implementada en base a la base de datos embebida Channel admite la función de transacción para garantizar operaciones secuenciales simples. Channel puede trabajar con sources y sinks de cualquier cantidad.
Sink	Sink envía datos al channel de salto siguiente o al destino final. Una vez completado, los datos transmitidos se eliminan del channel. Los tipos tipicos de sink son los siguientes: Sinks que envían datos de almacenamiento al destino final, como HDFS y HBase Sinks que se consumen automáticamente, como Null Sink IPC sinks utilizados para la comunicación entre Agents, como Avro Un sink debe estar asociado con un canal específico.

Como se muestra en Figura 2, un cliente de Flume puede tener múltiples sources, channels, y sinks.

Figura 2 Estructura de Flume
haga clic para agrandar

La confiabilidad de Flume depende de los cambios de transacción entre agents. Si el siguiente agent se descompone, el canal almacena datos de forma persistente y transmite datos hasta que el agente se recupera. La disponibilidad de Flume depende de los mecanismos integrados de balanceo de carga y migración por falla. Tanto el channel como el agent pueden configurarse con varias entidades entre las que pueden usar políticas de balanceo de carga. Cada agent es un proceso de máquina virtual de Java (JVM). Un servidor puede tener varios agents. Los nodos de recopilación (por ejemplo, Agents 1, 2, 3) procesan logs. Los nodos de agregación (por ejemplo, el Agente 4) escriben los logs en HDFS. El agent de cada nodo de recopilación puede seleccionar múltiples nodos de agregación para el balanceo de carga.

Figura 3 Flume en cascada
haga clic para agrandar

Para obtener más información sobre la arquitectura y los principios de Flume, consulte https://flume.apache.org/releases/1.9.0.html.

Principio

Confiabilidad entre agents

Figura 4 muestra el intercambio de datos entre agents.

Figura 4 Proceso de transmisión de datos
haga clic para agrandar

Flume garantiza una transmisión de datos confiable basada en transacciones. Cuando los datos fluyen de un agente a otro agente, las dos transacciones tienen efecto. El sink del Agent 1 (agente que envía un mensaje) necesita obtener un mensaje de un channel y envía el mensaje al Agent 2 (agente que recibe el mensaje). Si Agent 2 recibe y procesa con éxito el mensaje, Agent 1 enviará una transacción, indicando una transmisión de datos satisfactoria y confiable.
Cuando Agent 2 recibe el mensaje enviado por el Agent 1 e inicia una nueva transacción, después de que los datos se procesan con éxito (escritos en un channel), Agent 2 envía la transacción y envía una respuesta satisfactoria al Agent 1.
Antes de una operación de confirmación, si la transmisión de datos falla, la última transcripción comienza y retransmite los datos que no se transmiten la última vez. La operación de confirmación ha escrito la transacción en un disco. Por lo tanto, la última transacción puede continuar después de que el proceso falle y se restaure.

Tema principal: Flume

Tema anterior: Flume

Tema siguiente: Relación entre Flume y otros componentes

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar