Cambio del programador

Escenario

El clúster de recién instalado utiliza el programador Superior de forma predeterminada. Si el clúster se actualiza desde una versión anterior, puede cambiar el programador YARN del programador de Capacity al programador Superior con unos pocos clics.

Prerrequisitos

• La conectividad de red del clúster es adecuada y segura, y el estado del servicio YARN es normal.
• Durante la conmutación del programador, los tenants no se pueden agregar, eliminar o modificar. Además, los servicios no se pueden iniciar o detener.

Impacto en el sistema

• Debido a que el ResourceManager se reinicia durante la conmutación del programador, el envío de trabajos a YARN fallará en ese momento.
• Durante la conmutación del programador, las tareas de un trabajo que se está ejecutando en YARN continuarán, pero no se pueden iniciar nuevas tareas.
• Una vez completada la conmutación del programador, los trabajos ejecutados en YARN pueden fallar, causando interrupciones del servicio.
• Una vez completada la conmutación del programador, se utilizan parámetros del programador Superior para la gestión de tenant.
• Una vez completada la conmutación del programador, las colas de tenant cuya capacidad es 0 en el programador de Capacity no se pueden asignar recursos en el programador Superior. Como resultado, los trabajos enviados a estas colas de tenant no se pueden ejecutar. Por lo tanto, se recomienda no establecer la capacidad de una cola de tenant en 0 en el programador de Capacity.
• Una vez completada la conmutación del programador, no se pueden agregar o eliminar grupos de recursos, etiquetas de nodo YARN ni tenants durante el período de observación. Si se realiza una operación de este tipo, el programador no se puede revertir al progrmador de Capacity.
  

  • El período de observación recomendado para el cambio del programador es de una semana. Si durante este período se agregan o eliminan grupos de recursos, etiquetas de nodo YARN o tenants, el período de observación finaliza inmediatamente.
• La reversión del programador puede provocar la pérdida de información parcial o total del trabajo YARN.

Cambio del programador de Capacity al programador Superior

1. Modifique los parámetros del servicio YARN y asegúrese de que el estado del servicio YARN sea normal.
   1. Inicie sesión en FusionInsight Manager como administrador.
   2. Inicie sesión en FusionInsight Manager y elija Cluster > Services > Yarn. Haga clic en Configurations, luego en All Configurations, busque yarn.resourcemanager.webapp.pagination.enable y compruebe si el valor es true.
      • En caso afirmativo, vaya a 1.c.
      • Si no, establezca el parámetro en true y haga clic en Save para guardar la configuración. En la página de pestaña Dashboard de YARN, elija More > Restart Service verifique la identidad y haga clic en OK. Una vez reiniciado el servicio, vaya a 1.c.
   3. Seleccione Cluster > Name of the desired cluster > Services, y compruebe si el estado del servicio YARN es normal.

2. Inicie sesión en el nodo de gestión activo como usuario omm.
3. Cambie el programador.

   Los siguientes modos de conmutación están disponibles:

   0: convierte las configuraciones del programador de Capacity en las configuraciones del programador Superior y, a continuación, cambia el programador de Capacity al programador Superior.

   1: convierte las configuraciones del programador de Capacity en las configuraciones del programador de Superior solamente.

   2: cambia el programador de Capacity al programador de Superior solamente.

   • Se recomienda el modo 0 si el entorno de clúster es simple y el número de tenants es inferior a 20.

     Ejecute el siguiente comando:

     sh ${BIGDATA_HOME}/om-server/om/sbin/switchScheduler.sh -c Cluster ID -m 0

     

     Puede elegir Cluster, hacer clic en el nombre del clúster y elegir Cluster Properties en FusionInsight Manager para ver el ID del clúster.

     Start to convert Capacity scheduler to Superior Scheduler, clusterId=1
     Start to convert Capacity scheduler configurations to Superior. Please wait...
     Convert configurations successfully.
     Start to switch the Yarn scheduler to Superior. Please wait...
     Switch the Yarn scheduler to Superior successfully.

   • Si el entorno del clúster o la información del tenant es compleja y necesita conservar las configuraciones de cola del programador de Capacity en el programador de Superior, se recomienda que utilice el modo 1 primero para convertir las configuraciones del programador de Capacity, verifique las configuraciones convertidas, y luego utilice el modo 2 para cambiar el programador de Capacity al programador de Superior.
     1. Ejecute el siguiente comando para convertir las configuraciones del programador de Capacity en las configuraciones del programador de Superior:

        sh ${BIGDATA_HOME}/om-server/om/sbin/switchScheduler.sh -c Cluster ID -m 1

        Start to convert Capacity scheduler to Superior Scheduler, clusterId=1
        Start to convert Capacity scheduler configurations to Superior. Please wait...
        Convert configurations successfully.

     2. Ejecute el siguiente comando para cambiar el programador de Capacity al programador de Superior:

        sh ${BIGDATA_HOME}/om-server/om/sbin/switchScheduler.sh -c Cluster ID -m 2

        Start to convert Capacity scheduler to Superior Scheduler, clusterId=1
        Start to switch the Yarn scheduler to Superior. Please wait...
        Switch the Yarn scheduler to Superior successfully.

   • Si no necesita conservar las configuraciones de cola del programador de Capacity, use modo 2.
     1. Inicie sesión en FusionInsight Manager y elimine todos los tenants excepto el tenant predeterminado.
     2. En FusionInsight Manager, elimine todos los grupos de recursos excepto el grupo de recursos predeterminado.

        Ejecute el siguiente comando para cambiar el programador de Capacity al programador de Superior:

        sh ${BIGDATA_HOME}/om-server/om/sbin/switchScheduler.sh -c Cluster ID -m 2

        Start to convert Capacity scheduler to Superior Scheduler, clusterId=1
        Start to switch the Yarn scheduler to Superior. Please wait...
        Switch the Yarn scheduler to Superior successfully.

   

   Puede consultar los registros de conmutación del programador en el nodo de gestión activo.

   • ${BIGDATA_LOG_HOME}/controller/aos/switch_scheduler.log
   • ${BIGDATA_LOG_HOME}/controller/aos/aos.log

Operaciones de reversión

Puede cambiar manualmente el programador de Superior de nuevo al programador de Capacity. Sin embargo, esta operación es solo una solución alternativa y no está permitida en la mayoría de los casos.

Si el cliente tiene requisitos especiales para volver al programador de Capacity, deben cumplirse las siguientes condiciones:

• El período de observación no ha expirado.
• Durante el período de observación no se agrega ni se elimina ningún grupo de recursos, etiqueta de nodo YARN o tenant.
  

  Si se agregan o eliminan grupos de recursos, etiquetas de nodo YARN o tenants, es posible que no existan grupos de recursos o colas después de que el programador Superior se cambie de nuevo al programador de Capacity. Como resultado, el programador de Capacity no puede ejecutarse correctamente.

El procedimiento es el siguiente:

1. Cambie el programador al programador de Capacity e inicie YARN.
   1. Inicie sesión en FusionInsight Manager.
   2. Vaya a la página Configurations de YARN y modifique los parámetros listados en Tabla 1.

      Tabla 1 Modificación de elementos de configuración de YARN

      Parámetro	Descripción
      yarn.resourcemanager.scheduler.class	org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
      yarn.http.rmwebapp.external.classes	Dejado vacío
      hadoop.http.rmwebapp.scheduler.page.classes	Dejado vacío
      yarn.resourcemanager.webapp.pagination.enable	falso

   3. Haga clic en Save y, a continuación, haga clic en OK en el cuadro de diálogo mostrado.
   4. Reinicie el servicio YARN, ingrese la contraseña y haga clic en OK.

2. Inicie sesión en el nodo de gestión activo y reinicie el servicio AOS.
   1. Inicie sesión en el servidor OMS activo como usuario omm mediante PuTTY.
   2. Ejecute el siguiente comando para deshabilitar el cierre de sesión al finalizar el tiempo de espera:

      TMOUT=0

      

      Una vez completadas las operaciones de esta sección, ejecute el comando TMOUT=Timeout interval para restaurar el intervalo de tiempo de espera de manera oportuna. Por ejemplo, TMOUT=600 indica que un usuario ha cerrado sesión si el usuario no realiza ninguna operación en 600 segundos.

   3. Ejecute el siguiente comando para reiniciar el servicio AOS:

      ${BIGDATA_HOME}/om-server/om/sbin/aos_cmd.sh restart