Configuración del volcado de métricas de monitoreo

Escenario

La función de informe de datos de monitoreo escribe los datos de monitoreo recogidos en el sistema en un archivo de texto y carga el archivo a un servidor especificado en modo FTP o SFTP.

Antes de utilizar esta función, debe realizar configuraciones relacionadas en FusionInsight Manager.

Procedimiento

1. Inicie sesión en FusionInsight Manager.
2. Elija System >Interconnection >Upload Performance Data.
3. Alterne Upload Performance Data.

   El servicio de carga de datos de rendimiento está deshabilitado de forma predeterminada. indica que el servicio está habilitado.

4. Establezca los parámetros de carga según Tabla 1.

   Tabla 1 Parámetros de carga

   Parámetro	Descripción
   FTP IP Address Mode	Especifica el modo de dirección IP del servidor. Este parámetro es obligatorio. El valor puede ser IPV4 o IPV6.
   FTP IP Address	Especifica la dirección IP del servidor FTP para almacenar archivos de monitoreo después de interconectar los datos de la métrica de monitoreo. Este parámetro es obligatorio.
   FTP Port	Especifica el puerto para conectarse al servidor FTP. Este parámetro es obligatorio.
   FTP Username	Especifica el nombre de usuario para iniciar sesión en el servidor FTP. Este parámetro es obligatorio.
   FTP Password	Especifica la contraseña para iniciar sesión en el servidor FTP. Este parámetro es obligatorio.
   Save Path	Especifica la ruta de acceso para almacenar los archivos de monitoreo en el servidor FTP. Este parámetro es obligatorio.
   Dump Interval (second)	Especifica el intervalo en el que los archivos de monitoreo se almacenan periódicamente en el servidor FTP, en segundos. Este parámetro es obligatorio.
   Dump Mode	Especifica el protocolo utilizado para enviar archivos de monitoreo. Este parámetro es obligatorio. El valor puede ser SFTP o FTP. Se recomienda utilizar el modo SFTP basado en SSH v2. De lo contrario, se pueden incurrir en riesgos de seguridad.
   SFTP Service Public Key	Especifica la clave pública del servidor FTP. Este parámetro es opcional. Solo es válido cuando Dump Mode está establecido en SFTP.

5. Haga clic en OK.
   

   Si el modo de volcado es SFTP y la clave pública del servicio SFTP está vacía, el sistema muestra una advertencia de riesgo de seguridad. Debe evaluar el riesgo de seguridad y luego guardar la configuración.

Formato de datos

Una vez completada la configuración, la función de informe de datos de monitorización escribe periódicamente datos de monitorización en el clúster en archivos de texto e informa de los archivos al servicio FTP/SFTP correspondiente basándose en el período de informe configurado.

• Principios para generar archivos de monitorización
  • Las métricas de monitorización se escriben en archivos generados cada 30, 60 y 300 segundos basándose en el período de recopilación de métricas.

    30s: métricas en tiempo real que se recopilan cada 30s de forma predeterminada

    60s: métricas en tiempo real que se recopilan cada 60s de forma predeterminada

    300s: todas las métricas que no se recopilan cada 30s o 60s

  • Formato de nombre de archivo: metric_{Interval}_{File creation time YYYYMMDDHHMMSS}.log

    Ejemplo: metric_60_20160908085915.log

    metric_300_20160908085613.log

• Monitorización del contenido de archivos
  • Formato de archivos de monitorización:

    "Cluster ID|Cluster name|Displayed name|Service name|Metric ID|Collection time|Collection host@m@Sub-metric|Unit|Metric value", where fields are separated using vertical bars (|). Por ejemplo:

    1|xx1|Host|Host|10000413|2019/06/18 10:05:00|189-66-254-146|KB/s|309.910
    1|xx1|Host|Host|10000413|2019/06/18 10:05:00|189-66-254-152|KB/s|72.870
    2|xx2|Host|Host|10000413|2019/06/18 10:05:00|189-66-254-163|KB/s|100.650

    Nota: Los archivos reales no están en ese formato.

  • Intervalo para cargar archivos de monitorización:

    El intervalo para cargar archivos de monitorización se puede establecer utilizando el parámetro Dump Interval (second) de la página. Actualmente, el intervalo puede variar de 30 a 300. Una vez completada la configuración, el sistema carga periódicamente archivos al servidor FTP/SFTP correspondiente en el intervalo especificado.

• Archivo de descripción de métricas de monitoreo
  • Archivo de conjuntos de métricas

    El archivo de conjunto de métricas all-shown-metric-zh_CN contiene información detallada sobre todas las métricas. Después de obtener los ID de métricas de los archivos notificados por el sistema de terceros, puede consultar detalles sobre las métricas del archivo de conjunto de métricas.

    Ubicación del archivo de conjunto de métricas:

    Nodos de OMS activos y en espera: {FusionInsight installation path} /om-server/om/etc/om/all-shown-metric-zh_CN

    Content of the metric set file:

    Real-Time Metric ID,5-Minute Metric ID,Metric Name,Metric Collection Period (s),Collected by Default,Service Belonged To,Role Belonged To
    00101,10000101,JobHistoryServer non-heap memory usage,30,false,Mapreduce,JobHistoryServer
    00102,10000102,JobHistoryServer non-heap memory allocation volume,30,false,Mapreduce,JobHistoryServer
    00103,10000103,JobHistoryServer heap memory usage,30,false,Mapreduce,JobHistoryServer
    00104,10000104,JobHistoryServer heap memory allocation volume,30,false,Mapreduce,JobHistoryServer
    00105,10000105,Number of blocked threads,30,false,Mapreduce,JobHistoryServer
    00106,10000106,Number of running threads,30,false,Mapreduce,JobHistoryServer
    00107,10000107,GC time,30,false,Mapreduce,JobHistoryServer
    00110,10000110,JobHistoryServer CPU usage,30,false,Mapreduce,JobHistoryServer
    ...

  • Descripción de campo de las métricas críticas

    Real-Time Metric ID: indica el ID de la métrica cuyo período de recopilación es 30s o 60s.

    5-Minute Metric ID: indica el ID de una métrica de 5 minutos (300s).

    Metric Collection Period (s): indica el período de recopilación de métricas en tiempo real. El valor puede ser 30 o 60.

    Service Belonged To: indica el nombre del servicio al que pertenece una métrica, por ejemplo, HDFS y HBase.

    Role Belonged To: indica el nombre del rol al que pertenece una métrica, por ejemplo, JobServer y RegionServer.

  • Descripción

    Para las métricas cuyo período de recopilación es 30s/60s, puede encontrar la descripción de la métrica correspondiente haciendo referencia a la primera columna, es decir, Real-Time Metric ID.

    Para las métricas cuyo período de recopilación es de 300 segundos, puede encontrar la descripción de la métrica correspondiente haciendo referencia a la segunda columna, es decir, 5-Minute Metric ID.