Uso de ICAgent para recopilar registros de texto de ECS en LTS
Log Tank Service (LTS) es una solución integral de datos de registros para recopilar, almacenar, buscar, procesar y analizar registros, visualizar registros en paneles y reportar alarmas de registros. LTS proporciona servicios estables y confiables, lo que elimina las preocupaciones de recursos, como la escalabilidad. También facilita la O&M de registros y mejora la localización de fallas y la eficiencia de monitoreo de métricas.
Esta sección utiliza la ingesta de registros de texto de Elastic Cloud Server (ECS) como ejemplo para ayudarle a comenzar con LTS. Siga estos pasos: Instale ICAgent en el ECS desde el que desea recopilar registros, cree un grupo y un flujo de registros para almacenar estos registros de texto de ECS y configure la ingesta de registros de texto de ECS. A continuación, puede ver los registros en tiempo real en la consola de LTS.
Procedimiento
Figura 1 muestra el procedimiento.
Requisitos previos
- Obtenga permisos de operación de LTS.
Debe tener los permisos de administrador de LTS LTS FullAccess. Para obtener más información, consulte Otorgamiento de permisos de LTS a usuarios de IAM.
- Prepare un ECS (host) desde el que recopilar registros. Para obtener más información, consulte Compra de un ECS en modo de configuración personalizada. Si ya tiene un ECS disponible, omita este paso.
Paso 1: Instalación de ICAgent
ICAgent es la herramienta de recopilación de registros de LTS. Instálelo en un host desde el que desee recopilar registros. A continuación, puede recopilar registros del host sin volver a instalar ICAgent.
A continuación se describe cómo instalar ICAgent. En esta práctica, configure Host en Intra-region hosts, OS en Linux, e Installation Mode en Obtain AK/SK.
- Inicie sesión en la consola de LTS.
- Seleccione Host Management > Hosts en el panel de navegación.
- Haga clic en Install ICAgent en la esquina superior derecha. En la página que se muestra, configure los parámetros consultando Tabla 1.
Antes de instalar ICAgent, asegúrese de que la hora y la zona horaria del navegador local coincidan con las del host.
Figura 2 Instalación de ICAgent
Tabla 1 Instalación de ICAgent Parámetro
Descripción
Valor de ejemplo
Host
Intra-region hosts está seleccionado por defecto. Compruebe si el host cuyos registros se deben recopilar está dentro o fuera de la región.
Un host dentro de la región está en la misma región que la consola de LTS, por ejemplo, CN North-Beijing4.
-
OS
Linux está seleccionado por defecto.
-
Installation Mode
Obtain AK/SK está seleccionado por defecto. Para obtener una AK/SK, consulte ¿Cómo obtengo una clave de acceso (AK/SK)?
-
- En la página Install ICAgent, haga clic en Copy Command para copiar el comando de instalación de ICAgent. Figura 3 Copia del comando
- Inicie sesión en el ECS. Para obtener más información, consulte Inicio de sesión en un ECS de Linux mediante VNC.
- Inicie sesión en la consola de ECS.
- Haga clic en Remote Login en la columna Operation del ECS de destino donde se va a instalar ICAgent.
- En el cuadro de diálogo Logging In to a Linux ECS, haga clic en Log In en el área Other Login Modes.
- En la página mostrada, ingrese el nombre de usuario root y la contraseña configurada durante la compra de ECS.
- Después de iniciar sesión en el ECS, ejecute el comando de instalación de ICAgent e ingrese la AK/SK obtenida según se indique. (Si ha reemplazado manualmente la AK/SK al copiar el comando, el sistema no le pedirá que ingrese la AK/SK).
- Cuando se muestra el mensaje "ICAgent install success", ICAgent se ha instalado en el directorio /opt/oss/servicemgr/ del host. Figura 4 Salida del comando de instalación
- Una vez que la instalación se haya realizado correctamente, seleccione Host Management > Hosts en el panel de navegación de LTS para comprobar si el estado de ICAgent del host es Running. En esta práctica, el nombre del host es ECS-test-dqy (solo para su referencia). Figura 5 Hosts
- Cree un grupo de hosts y agregue el host con ICAgent instalado al grupo de hosts.
- En el panel de navegación de LTS, seleccione Host Management > Host Groups.
- En la página Host Groups, haga clic en Create Host Group. En la página que se muestra, cree un grupo de hosts consultando Tabla 2. Figura 6 Creación de un grupo de hosts
Tabla 2 Creación de un grupo de hosts Parámetro
Descripción
Valor de ejemplo
Host Group
Ingrese un nombre de grupo de hosts personalizado. Utilice solo letras, dígitos, guiones medios (-), guiones bajos (_), y puntos (.). No comience con un punto o un guion bajo ni finalice con un punto.
testECS
Host Group Type
IP está seleccionada de forma predeterminada.
Grupos de hosts del tipo IP: Los servidores se agregan al grupo de hosts con sus direcciones IP, lo que permite la identificación basada en direcciones IP.
IP
Host Type
Linux está seleccionado por defecto. El tipo de host debe ser el mismo que el instalado en 6.
Linux
Remark
Ingrese una descripción para el grupo de hosts. Se permiten hasta 1,024 caracteres.
-
Add Host
En la lista de hosts, seleccione uno o más hosts con ICAgent instalado. Asegúrese de que los hosts seleccionados coincidan con los requisitos de su sitio.
ECS-test-dqy
- Haga clic en OK.
Paso 2: Creación de un grupo y un flujo de registros
Los grupos y los flujos de registros son unidades básicas para la gestión de registros en LTS. Antes de utilizar LTS, cree un grupo de registros y luego cree un flujo de registros en el grupo de registros.
- Inicie sesión en la consola de LTS.
- En la página Log Management, haga clic en Create Log Group. En la página que se muestra, configure los parámetros consultando Tabla 3. Figura 7 Creación de un grupo de registros
Tabla 3 Descripción del parámetro Parámetro
Descripción
Valor de ejemplo
Log Group Name
- Ingrese de 1 a 64 caracteres, incluidas solo letras, dígitos, guiones medios (-), guiones bajos (_), y puntos (.). No comience con un punto o un guion bajo ni finalice con un punto.
- Los registros recopilados se envían al grupo de registros. Si hay demasiados registros para recopilar, separe los registros en diferentes grupos de registros según los tipos de registros y asigne nombres a los grupos de registros de una manera fácilmente identificable.
lts-group-ECS
Enterprise Project Name
Seleccione el proyecto empresarial requerido. El valor predeterminado es default.
default
Log Retention (Days)
Especifique el período de retención de registros para el grupo de registros, es decir, cuántos días se almacenarán los registros en LTS después de ser reportados a LTS.
Por defecto, los registros se conservan durante 30 días. Puede establecer el período de retención de uno a 365 días.
LTS elimina periódicamente los registros en función del período de retención de registros configurado. Por ejemplo, si establece el período en 30 días, LTS conservará los registros reportados durante 30 días y luego los eliminará.
30
Tag
Etiquete el grupo de registros según sea necesario. En esta práctica, puede dejar este parámetro en blanco.
-
Remark
Ingrese comentarios. Se permiten hasta 1,024 caracteres. En esta práctica, puede dejar este parámetro en blanco.
-
- Haga clic en OK. El grupo de registros creado aparecerá en la lista de grupos de registros.
- Haga clic en
a la izquierda del grupo de registros de destino. - Haga clic en Create Log Stream. En la página que se muestra, configure los parámetros consultando Tabla 4. Figura 8 Creación de un flujo de registros
Tabla 4 Descripción del parámetro Parámetro
Descripción
Valor de ejemplo
Log Group Name
El nombre del grupo de registros de destino se muestra por defecto.
-
Log Stream Name
- Ingrese de 1 a 64 caracteres, incluidas solo letras, dígitos, guiones medios (-), guiones bajos (_), y puntos (.). No comience con un punto o un guion bajo ni finalice con un punto.
- Los registros recopilados se envían al flujo de registros creado. Si hay un gran número de registros, puede crear múltiples flujos de registros y asignarles un nombre para una búsqueda rápida de registros.
lts-topic-ECS
Enterprise Project Name
Seleccione el proyecto empresarial requerido. El valor predeterminado es default.
default
Log Storage
Si esta función está habilitada, los registros se almacenarán en el motor de búsqueda y todas las funciones de registro estarán disponibles.
Si esta función está deshabilitada, no se puede habilitar Log Retention (Days).
Enable
Log Retention (Days)
Especifique el período de retención de registros para el flujo de registros, es decir, cuántos días se almacenarán los registros en LTS después de ser reportados a LTS.
Por defecto, los registros se conservan durante 30 días. Puede establecer el período de retención de uno a 365 días.
- Si habilita Log Retention (Days) para el flujo de registros, los registros se conservan durante el período establecido para el flujo de registros.
- LTS elimina periódicamente los registros en función del período de retención de registros configurado. Por ejemplo, si establece el período en 30 días, LTS conservará los registros reportados durante 30 días y luego los eliminará.
30
Anonymous Write
Deshabilitado por defecto. En esta práctica, mantenga la configuración predeterminada.
Esta función se aplica a los registros reportados por Android, iOS, applets y navegadores.
Disable
Tag
Etiquete el grupo de registros según sea necesario. En esta práctica, puede dejar este parámetro en blanco.
-
Remark
Ingrese comentarios. Se permiten hasta 1,024 caracteres. En esta práctica, puede dejar este parámetro en blanco.
-
- Haga clic en OK.
- Verifique el flujo de registros creado en el grupo de registros de destino.
Paso 3: Ingesta de registros de ECS en LTS
Después de instalar ICAgent, configure las rutas de los registros de host que desea recopilar en el flujo de registros de destino. ICAgent empaquetará los registros y los enviará a LTS en la unidad de flujos de registros.
- En la consola de LTS, seleccione Log Ingestion > Ingestion Center en el panel de navegación y haga clic en ECS (Elastic Cloud Server).
- Aparecerá la página para seleccionar un flujo de registros.
- Seleccione un grupo de registros de la lista desplegable Log Group, por ejemplo, lts-group-ECS.
- Seleccione un flujo de registros de la lista desplegable Log Stream, por ejemplo, lts-topic-ECS.
- Haga clic en Next: (Optional) Select Host Group.
- Seleccione los grupos de hosts cuyos registros desea recopilar, por ejemplo, el grupo de hosts testECS creado en Paso 1: Instalación de ICAgent.
- Haga clic en Next: Configurations.
- Configure reglas de recopilación. Para obtener más información, consulte Tabla 5. Figura 9 Configuración de recopilación
Tabla 5 Configuración de recopilación Parámetro
Descripción
Valor de ejemplo
Collection Configuration Name
Ingrese un nombre personalizado. Utilice solo letras, dígitos, guiones medios (-), guiones bajos (_), y puntos (.). No comience con un punto o un guion bajo ni finalice con un punto.
testECS
Collection Paths
Agregue uno o más rutas de host. LTS recopilará registros de estas rutas.
Por ejemplo, /var/logs/**/a.log coincide con los siguientes registros:
/var/logs/1/a.log /var/logs/1/2/a.log /var/logs/1/2/3/a.log /var/logs/1/2/3/4/a.log /var/logs/1/2/3/4/5/a.log
- /1/2/3/4/5/ indica los 5 niveles de directorios bajo el directorio /var/logs. Se recopilarán todos los archivos a.log encontrados en todos estos niveles de directorios.
- Solo se puede incluir un asterisco doble (**) en una ruta de recopilación. Por ejemplo, /var/logs/**/a.log es aceptable, pero /opt/test/**/log/** no lo es.
- Una ruta de recopilación no puede comenzar con un doble asterisco (**), como /**/test para evitar la recopilación de archivos del sistema.
/var/logs/**/a.log
Allow Repeated File Collection
Esta función no está disponible para Windows.
Una vez habilitada esta función, se puede recopilar un archivo de registros del host en múltiples flujos de registros.
Enable
Set Collection Filters
Los directorios o archivos de la lista negra no se recopilarán. Los filtros pueden ser coincidencias exactas o comodines. Si especifica un directorio, se filtran todos sus archivos. No se pueden establecer filtros de recopilación para hosts de Windows.
En esta práctica, mantenga la configuración predeterminada (deshabilitada) para que este parámetro recopile todos los archivos.
Disable
Collect Windows Event Logs
En esta práctica, el host es un host de Linux y esta opción está deshabilitada por defecto.
Disable
Structuring Parsing
Habilite el análisis de estructuración y seleccione Single Line - Full-Text Log para Log Structuring Parsing Rule. Para obtener más reglas, consulte Configuración de reglas de análisis de estructuración de ICAgent.
Enable
Max Directory Depth
Especifique el número de niveles de directorio que se pueden recorrer cuando se utilizan asteriscos dobles (**) para la coincidencia difusa de las rutas de recopilación de registros. LTS admite un máximo de 20 niveles de directorio.
Por ejemplo, para recopilar registros de /var/logs/department/app/a.log, configure la ruta de recopilación como /var/logs/**/a.log y Max Directory Depth como 5.
20
Split Logs
Divide los registros de una sola línea mayores que el tamaño especificado en varias líneas para su recopilación. Especifique el tamaño en el rango de 500 KB a 1,024 KB. En esta práctica, habilite esta opción y establezca el tamaño en 500 KB.
De esta manera, un registro de una sola línea mayor de 500 KB se dividirá en varias líneas para su recopilación. Por ejemplo, un registro de una sola línea de 600 KB se dividirá en una línea de 500 KB y una línea de 100 KB.
Enable
Collect Binary Files
En esta práctica, habilite esta opción para recopilar archivos binarios.
Ejecute el comando file -i File name para ver el tipo de archivo. charset=binary indica que un archivo de registro es un archivo binario.
Si esta opción está habilitada, se recopilarán archivos de registros binarios, pero solo se admiten cadenas UTF-8 y GBK. Otras cadenas se verán distorsionadas en la consola de LTS.
Enable
Log File Code
El formato de codificación de los archivos de registros es UTF-8.
-
Collection Policy
En esta práctica, establezca la política de recopilación en Incremental.
Incremental: Al recopilar un archivo nuevo, ICAgent lee el archivo desde el final del archivo.
-
Custom Metadata
Deshabilitado por defecto. En esta práctica, mantenga la configuración predeterminada. ICAgent recopilará registros basados en los campos integrados en el sistema y en los pares clave-valor personalizados.
-
Log Format
Configure el formato de visualización de los registros reportados a LTS. En esta práctica, seleccione Single-line. Si Structuring Parsing está habilitado, no es necesario configurar este parámetro.
Single-line: Cada línea de registro se muestra como un único evento de registro.
Single-line
Log Time
Configure la hora de recopilación de registros que se mostrará al principio de cada línea de registros. En esta práctica, seleccione System time. Si Structuring Parsing está habilitado, no es necesario configurar este parámetro.
System time: tiempo de recopilación de registros por defecto. Se muestra al principio de cada evento de registro.
System time
- Haga clic en Next: Index Settings. En la página mostrada, conserve la configuración de parámetros predeterminada. Después de configurar el índice, se pueden consultar y analizar los registros. Para obtener más información, consulte Configuración de la indexación de registros. Figura 10 Configuraciones del índice
- Index Whole Text: habilitada por defecto, lo que indica que se crea un índice de texto completo. Por defecto, Case-Sensitive está habilitada y los delimitadores incluyen los siguientes caracteres: ,'";=()[]{}@&<>/:\\?\n\t\r
- Log Analysis: habilita el análisis visualizado de SQL para los índices de campos configurados. Este parámetro está habilitado por defecto.
- Index Fields: LTS crea campos de índice para ciertos campos reservados del sistema (como hostIP, hostName y pathFile) por defecto. Para obtener más información sobre los campos reservados del sistema, consulte Configuración de la indexación de registros.
- Haga clic en Submit. Una vez completada la ingesta de registros, haga clic en Back to Ingestion Configurations. Se mostrará una configuración de ingesta en la página Ingestion Management.
Paso 4: Consulta de registros en tiempo real
Una vez configurada la ingesta de registros, puede ver los registros reportados en la consola de LTS en tiempo real.
Permanezca en la pestaña Real-Time Logs para seguir actualizándolos en tiempo real. Si sale de la pestaña Real-Time Logs, los registros dejarán de cargarse en tiempo real.
- En la página Ingestion Management, haga clic en el nombre del flujo de registros en la columna Log Stream de la tarea de ingesta de destino para acceder a la página de detalles del flujo de registros.
- Haga clic en la pestaña Real-Time Logs para ver los registros en tiempo real.
Los registros se reportan a LTS una vez cada 5 segundos. Puede esperar como máximo 5 segundos antes de que se muestren los registros.
Figura 11 Registros en tiempo real
Información relacionada
Una vez ingresados los registros, haga clic en el nombre del flujo de registros en la columna Log Stream de la tarea de ingesta de registros de destino en la página Ingestion Management. En la página de detalles del flujo de registros que se muestra, puede buscar y analizar los registros reportados consultando Búsqueda y análisis de registros.
