Configuración de un grupo de servicio estático

Escenario

Si necesita controlar los recursos de nodo que puede utilizar el servicio de clúster o el uso de CPU del nodo que utiliza el clúster en diferentes períodos de tiempo, puede ajustar la base de recursos en MRS Manager y personalizar los grupos de configuración de recursos.

Prerrequisitos

• Después de configurar el grupo de servicios estático, los servicios HDFS y YARN deben reiniciarse. Durante el reinicio, los servicios no están disponibles.
• Después de configurar un grupo de servicios estático, el número máximo de recursos utilizados por cada instancia de servicio e rol no puede exceder el límite superior.

Procedimiento

1. Modifique la base de ajuste de recursos del sistema.
   1. En MRS Manager, haga clic en System. En el área Resource, haga clic en Configure Static Service Pool.
   2. Haga clic en Configuration. Se muestra la página de gestión del grupo de configuración del grupo de servicios.
   3. En el área System Resource Adjustment Base, cambie los valores de CPU(%) y Memory(%).

      La modificación de System Resource Adjustment Base limita el porcentaje máximo de recursos físicos de CPU y memoria de los nodos que pueden utilizar los servicios Flume, HBase, HDFS, Impala y YARN. Si se despliegan varios servicios en el mismo nodo, el uso máximo de recursos físicos de todos los servicios no puede exceder el uso ajustado de CPU o memoria.

   4. Haga clic en Next.

      Si necesita modificar los parámetros de nuevo, haga clic en Previous en la parte inferior de la página.

2. Modifique el grupo de configuración default del grupo de servicios.
   1. En la tabla Service Pool Configuration, establezca CPU LIMIT(%), CPU SHARE(%), I/O(%) y Memory(%) para los servicios Flume, HBase, HDFS, Impala y YARN.
   

   • La suma de CPU LIMIT(%) utilizados por todos los servicios puede superar el 100%.
   • La suma de CPU SHARE(%) y I/O(%) utilizados por todos los servicios debe ser del 100%. Por ejemplo, si se asignan recursos de CPU a los servicios HDFS y Yarn, el total de recursos de CPU asignados a los dos servicios es del 100%.
   • La suma de Memory(%) utilizados por todos los servicios puede ser mayor, menor o igual al 100%.
   • Memory(%) no puede tener efecto dinámicamente y solo se puede modificar en el grupo de configuración predeterminado.
   2. Haga clic en el área en blanco de la página para completar la edición. MRS Manager genera los valores correctos de los parámetros del grupo de servicios en el área Detailed Configuration basándose en los recursos de hardware del clúster y la información de asignación.
   3. Puede hacer clic en a la derecha de Detailed Configuration para modificar los valores de parámetros del grupo de servicios en función de los requisitos de servicio.

      En el área Service Pool Configuration, haga clic en el nombre del servicio especificado. El área Detailed Configuration muestra solo los parámetros del servicio. El cambio manual de los valores de los parámetros no actualiza el uso de los recursos de servicio. En los grupos de configuración agregados, se mostrarán los números de grupo de configuración de los parámetros que tienen efecto dinámicamente. Por ejemplo, HBase: RegionServer: dynamic-config1.RES_CPUSET_PERCENTAGE. Las funciones de parámetro no cambian.

      Tabla 1 Parámetros del grupo de servicios estático

      Parámetro	Descripción
      RES_CPUSET_PERCENTAGE dynamic-configX.RES_CPUSET_PERCENTAGE	Configura el porcentaje de CPU del servicio.
      RES_CPU_SHARE dynamic-configX.RES_CPU_SHARE	Configura el recurso compartido de CPU del servicio.
      RES_BLKIO_WEIGHT dynamic-configX.RES_BLKIO_WEIGHT	Configura el uso de E/S del servicio.
      HBASE_HEAPSIZE	Configura la memoria JVM máxima para RegionServer.
      HADOOP_HEAPSIZE	Configura la memoria JVM máxima de un DataNode.
      yarn.nodemanager.resource.memory-mb	Configura la memoria que puede utilizar NodeManager en el nodo actual.
      dfs.datanode.max.locked.memory	Configura la memoria máxima que puede utilizar un DataNode como caché de HDFS.
      FLUME_HEAPSIZE	Configura la memoria JVM máxima que puede utilizar cada instancia de Flume.
      IMPALAD_MEM_LIMIT	Configura la memoria máxima que puede utilizar una instancia de Impalad.

3. Agregar un grupo de configuración de recursos personalizado.
   1. Determine si se debe ajustar automáticamente las configuraciones de recursos en función del tiempo.

      En caso afirmativo, vaya a 3.b.

      Si no, vaya a 4.

   2. Haga clic en para agregar un grupo de configuración de recursos. En el área Scheduling Time, haga clic en . Se muestra la página de configuración de la política de tiempo.

      Modifique los siguientes parámetros en función de los requisitos de servicio y haga clic en OK.

      • Repeat: Si se selecciona, el grupo de configuración de recursos se ejecuta repetidamente en función del período de programación. Si no está seleccionado, establezca la fecha y la hora en que se puede aplicar la configuración del grupo de recursos.
      • Repeat Policy: se puede establecer en Daily, Weekly y Monthly. Este parámetro sólo es válido cuando se selecciona Repeat.
      • Between: indica el período de tiempo entre la hora de inicio y la hora de finalización cuando se aplica la configuración de recursos. Establezca un rango de tiempo único. Si el intervalo de tiempo se superpone con el de un grupo existente de configuración de recursos, el intervalo de tiempo no se puede guardar. Este parámetro sólo es válido cuando se selecciona Repeat.
      

      • El grupo default de configuración de recursos tiene efecto en todos los segmentos de tiempo indefinidos.
      • El grupo de recursos recién agregado es un conjunto de parámetros que tiene efecto dinámicamente en un intervalo de tiempo especificado.
      • El grupo de recursos recién agregado se puede eliminar. Se puede agregar un máximo de cuatro grupos de configuración de recursos que tengan efecto dinámicamente.
      • Seleccione una política de repetición. Si la hora de finalización es anterior a la hora de inicio, el día siguiente se etiqueta de forma predeterminada. Por ejemplo, si un período de validez oscila entre las 22:00 y las 06:00, la configuración de recursos personalizada tiene efecto entre las 22:00 del día actual y las 06:00 del día siguiente.
      • Si los tipos de políticas de repetición de varios grupos de configuración son diferentes, los intervalos de tiempo pueden superponerse. Los tipos de política se enumeran de la siguiente manera por prioridad de menor a mayor: diario, semanal y mensual. Lo siguiente es un ejemplo. Hay dos grupos de configuración de recursos que utilizan las políticas mensuales y diarias, respectivamente. Sus intervalos de tiempo de aplicación en un día se superponen de la siguiente manera: [04:00 a 07:00] y [06:00 a 08:00]. En este caso, prevalece la configuración del grupo que utiliza la política mensual.
      • Si los tipos de políticas de repetición de varios grupos de configuración de recursos son los mismos, los intervalos de tiempo de diferentes fechas pueden superponerse. Por ejemplo, si hay dos grupos de programación semanales, puede establecer el mismo intervalo de tiempo en un día diferente para ellos, como de 04:00 a 07:00, el lunes y el miércoles, respectivamente.
   3. En la página Service Pool Configuration, modifique la configuración de recursos de cada servicio. Haga clic en el área en blanco de la página para completar la edición y vaya a 4.

      Puede hacer clic en a la derecha de Service Pool Configuration para modificar los parámetros. Haga clic en en el área Detailed Configuration para actualizar manualmente los valores de parámetros generados por el sistema en función de los requisitos de servicio.

4. Guarda la configuración.

   Haga clic en Save. En el cuadro de diálogo Save Configuration, seleccione Restart the affected services or instances. Haga clic en OK para guardar la configuración y reiniciar los servicios relacionados.

   Se muestra Operation succeeded. Haga clic en Finish. El servicio se inicia correctamente.