Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Políticas de escalado automático por grupo de nodos
Políticas de escalado automático por grupo de recursos
Script de automatización

Mostrar todo

Centro de ayuda/ MapReduce Service/ Guía del usuario/ Configuración de un clúster/ Configuración de reglas de escalado automático/ Configuración de métricas de escalado automático

Configuración de métricas de escalado automático

Actualización más reciente 2023-11-20 GMT+08:00

Ver PDF

Políticas de escalado automático por grupo de nodos

Cuando agrega una regla, puede consultar Tabla 1 para configurar las métricas correspondientes.

**Tabla 1** Métricas de escalado automático
Tipo de clúster	Métrica	Tipo de valor	Descripción
Clúster de streaming	StormSlotAvailable	Integer	Número de slot disponible de Storm Rango de valores: 0 a 2147483646
	StormSlotAvailablePercentage	Percentage	Porcentaje de slot disponible de Storm, es decir, la proporción de slot disponible respecto al total de slots Rango de valores: 0 a 100
	StormSlotUsed	Integer	Número de slots de Storm utilizados Rango de valores: 0 a 2147483646
	StormSlotUsedPercentage	Percentage	Porcentaje de slots usados de Storm, es decir, la proporción de slots usados con respecto al total de slots Rango de valores: 0 a 100
	StormSupervisorMemAverageUsage	Integer	Uso promedio de memoria del proceso Supervisor de Storm Rango de valores: 0 a 2147483646
	StormSupervisorMemAverageUsagePercentage	Percentage	Porcentaje medio de la memoria utilizada del proceso Supervisor de Storm con respecto a la memoria total del sistema Rango de valores: 0 a 100
	StormSupervisorCPUAverageUsagePercentage	Percentage	Porcentaje promedio de las CPUs usadas del proceso Supervisor de Storm con respecto al total de CPUs Rango de valores: 0 a 6000
Clúster de análisis	YARNAppPending	Integer	Número de tareas pendientes en YARN Rango de valores: 0 a 2147483646
	YARNAppPendingRatio	Ratio	Relación entre tareas pendientes en YARN, es decir, la relación entre tareas pendientes y tareas en ejecución en YARN Rango de valores: 0 a 2147483646
	YARNAppRunning	Integer	Número de tareas en ejecución en YARN Rango de valores: 0 a 2147483646
	YARNContainerAllocated	Integer	Número de contenedores asignados a YARN Rango de valores: 0 a 2147483646
	YARNContainerPending	Integer	Número de contenedores pendientes en YARN Rango de valores: 0 a 2147483646
	YARNContainerPendingRatio	Ratio	Relación entre contenedores pendientes en Yarn, es decir, la relación entre contenedores pendientes y contenedores en funcionamiento en YARN Rango de valores: 0 a 2147483646
	YARNCPUAllocated	Integer	Número de CPU virtuales (vCPUs) asignadas a YARN Rango de valores: 0 a 2147483646
	YARNCPUAvailable	Integer	Número de vCPUs disponibles en YARN Rango de valores: 0 a 2147483646
	YARNCPUAvailablePercentage	Percentage	Porcentaje de vCPUs disponibles en YARN, es decir, la proporción de vCPUs disponibles respecto al total de vCPUs Rango de valores: 0 a 100
	YARNCPUPending	Integer	Número de vCPU pendientes en YARN Rango de valores: 0 a 2147483646
	YARNMemoryAllocated	Integer	Memoria asignada a YARN, en MB Rango de valores: 0 a 2147483646
	YARNMemoryAvailable	Integer	Memoria disponible en YARN en MB Rango de valores: 0 a 2147483646
	YARNMemoryAvailablePercentage	Percentage	Porcentaje de memoria disponible en YARN es decir, la proporción de memoria disponible a memoria total en YARN Rango de valores: 0 a 100
	YARNMemoryPending	Integer	Memoria pendiente en YARN Rango de valores: 0 a 2147483646

NOTA:

Cuando el tipo de valor es porcentaje o relación en Tabla 1, el valor válido puede ser exacto a percentil. El valor de la métrica porcentual es un valor decimal con un signo de porcentaje (%) eliminado. Por ejemplo, 16.80 representa 16.80%.
Los clústeres híbridos admiten todas las métricas de los clústeres de análisis y streaming.

Políticas de escalado automático por grupo de recursos

Al agregar una regla, puede consultar Tabla 2 para configurar las métricas correspondientes.

NOTA:

Las políticas de escalado automático se pueden configurar para un clúster por grupo de recursos en MRS 3.1.5 o posterior.

**Tabla 2** Descripción de configuración de regla
Tipo de clúster	Métrica	Tipo de valor	Descripción
Clúster de análisis/personalizado	ResourcePoolMemoryAvailable	Integer	Memoria disponible en YARN en el grupo de recursos, en MB Rango de valores: 0 a 2147483646
	ResourcePoolMemoryAvailablePercentage	Percentage	Porcentaje de memoria disponible en YARN en el grupo de recursos, es decir, la proporción de memoria disponible a memoria total en YARN Rango de valores: 0 a 100
	ResourcePoolCPUAvailable	Integer	Número de vCPUs disponibles en YARN en el grupo de recursos Rango de valores: 0 a 2147483646
	ResourcePoolCPUAvailablePercentage	Percentage	Porcentaje de vCPUs disponibles en YARN en el grupo de recursos. es decir, la proporción de vCPUs disponibles con respecto al total de vCPUs Rango de valores: 0 a 100

Al agregar un plan de recursos, puede configurar los parámetros haciendo referencia a Tabla 3.

**Tabla 3** Conceptos de configuración del plan de recursos
Parámetro	Descripción
Effective On	La fecha de entrada en vigor de un plan de recursos. Daily está seleccionado de forma predeterminada. También puede seleccionar uno o varios días de lunes a domingo.
Time Range	La hora de inicio y la hora de finalización de un plan de recursos son exactas a los minutos, con un valor que oscila entre 00:00 y 23:59. Por ejemplo, si un plan de recursos comienza a las 8:00 y termina a las 10:00, establezca este parámetro en 8:00-10:00. La hora de finalización debe ser al menos 30 minutos más tarde que la hora de inicio.
Node Range	El número de nodos de un plan de recursos varía entre 0 y 500. En el intervalo de tiempo especificado en el plan de recursos, si el número de nodos de tarea es menor que el número mínimo especificado de nodos, se incrementará al valor mínimo especificado del intervalo de nodos a la vez. Si el número de nodos de tarea es mayor que el número máximo de nodos especificado en el plan de recursos, la función de escalado automático reduce el número de nodos de tarea al valor máximo del intervalo de nodos a la vez. La cantidad mínima de nodos debe ser inferior o igual a la cantidad máxima de estos.

NOTA:

Cuando se habilita un plan de recursos, el valor Default Range de la página de escalado automático tiene efecto por la fuerza más allá del intervalo de tiempo especificado en el plan de recursos. Por ejemplo, si Default Range se establece en 1-2, Time Range está entre 08:00-10:00 y Node Range es 4-5 en un plan de recursos, el número de nodos Task en otros períodos (0:00-8:00 y 10:00-23:59) de un día está limitado forzosamente al rango de nodos predeterminado (1 a 2). Si el número de nodos es mayor que 2, se activa el escalado automático; si el número de nodos es menor que 1, se activa el escalado automático.
Cuando un plan de recursos no está habilitado, el Default Range tiene efecto en todos los intervalos de tiempo. Si el número de nodos no está dentro del rango de nodos predeterminado, el número de nodos de Task se incrementa o disminuye automáticamente al rango de nodos predeterminado.
Los rangos de tiempo de los planes de recursos no pueden superponerse. El intervalo de tiempo superpuesto indica que existen dos planes de recursos efectivos en un punto de tiempo. Por ejemplo, si el plan de recursos 1 tiene efecto de 08:00 a 10:00 y el plan de recursos 2 tiene efecto de 09:00 a 11:00, se superpone el intervalo de tiempo entre 09:00 y 10:00.
El intervalo de tiempo de un plan de recursos debe ser el mismo día. Por ejemplo, si desea configurar un plan de recursos de 23:00 a 01:00 al día siguiente, configure dos planes de recursos cuyos intervalos de tiempo son 23:00-00:00 y 00:00-01:00 respectivamente.

Script de automatización

Al agregar una secuencia de comandos de automatización, puede configurar parámetros relacionados haciendo referencia a Tabla 4.

**Tabla 4** Descripción de configuración del script de automatización
Parámetro	Descripción
Name	Nombre de un script de automatización El valor solo puede contener números, letras, espacios, guiones (-) y guiones bajos (_) y no debe comenzar con un espacio. El valor puede contener de 1 a 64 caracteres. NOTA: Un nombre debe ser único en el mismo clúster. Puede configurar el mismo nombre para diferentes clústeres.
Script Path	Ruta del script. El valor puede ser una ruta de sistema de archivos OBS o una ruta de VM local. Una ruta de sistema de archivos de OBS debe comenzar por s3a:// y terminar por .sh, por ejemplo, s3a://mrs-samples/xxx.sh. Una ruta de VM local debe comenzar con una barra diagonal (/) y terminar con .sh. Por ejemplo, la ruta del script de ejemplo para instalar el Zepelin es /opt/bootstrap/zepelin/zepelin_install.sh.
Execution Node	Seleccione un tipo del nodo donde se ejecuta un script de automatización. NOTA: Si selecciona nodos Master, puede elegir si desea ejecutar el script sólo en los nodos de Master activos mediante activación o desactivación el interruptor Active Master. Si lo habilita, el script solo se ejecuta en los nodos Master activos. Si lo deshabilita, el script se ejecuta en todos los nodos Master. Esta función está deshabilitada por defecto.
Parameter	Parámetro de script de automatización. Se pueden importar las siguientes variables predefinidas para obtener información de escalado automático: ${mrs_scale_node_num}: Número de nodos de escalado automático. El valor es siempre positivo. ${mrs_scale_type}: Tipo de escalar horizontalmente/verticalmente. El valor puede ser scale_out o scale_in. ${mrs_scale_node_hostnames}: Nombres de host de los nodos de escalado automático. Utilice comas (,) para separar varios nombres de host. ${mrs_scale_node_ips}: dirección IP de los nodos de escalado automático. Utilice comas (,) para separar varias direcciones IP. ${mrs_scale_rule_name}: Nombre de la regla de escalado automático activada. Para un plan de recursos, este parámetro se establece en resource_plan.
Executed	Tiempo para ejecutar un script de automatización. Se admiten las siguientes cuatro opciones: Before scale-out, After scale-out, Before scale-in y After scale-in. NOTA: Supongamos que los nodos de ejecución incluyen nodos Task. El script de automatización ejecutada antes de escalar horizontalmente no puede ejecutarse en los nodos Task que se van a agregar. El script de automatización ejecutado después de escalar hacia fuera puede ejecutarse en los nodos Task agregados. El script de automatización ejecutado antes de escalar puede ejecutarse en los nodos Task que se van a eliminar. El script de automatización ejecutada después de escalar no puede ejecutarse en los nodos Task eliminados.
Action upon Failure	Si se deben continuar ejecutando scripts posteriores y escalar horizontalmente/verticalmente después de que el script no se ejecute. NOTA: Se recomienda establecer este parámetro en Continue en la fase de puesta en marcha para que el clúster pueda continuar con la operación de escalado horizontal o vertical sin importar si se ejecuta el script. Si el script no se ejecuta, vea el registro /var/log/Bootstrap en la máquina virtual del clúster. La operación de escalado de entrada no se puede revertir. Por lo tanto, el Action upon Failure solo se puede establecer en Continue después de escalar verticalmente.

NOTA:

El script de automatización solo se activa durante el escalado automático. No se activa cuando el nodo del clúster se escalar horizontal o verticalmente de forma manual.

Tema principal: Configuración de reglas de escalado automático

Tema anterior: Configuración scripts de automatización

Tema siguiente: Gestión de conexiones de datos

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar