Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Mostrar todo

Centro de ayuda/ MapReduce Service/ Guía del usuario/ Configuración de un clúster/ Compra de un clúster de topología personalizado

Compra de un clúster de topología personalizado

Actualización más reciente 2023-11-20 GMT+08:00

Ver PDF

El clúster de análisis, el clúster de streaming y el clúster híbrido proporcionados por MRS utilizan plantillas fijas para desplegar procesos de clúster. Por lo tanto, no puede personalizar los procesos de servicio en los nodos de gestión y los nodos de control. Si desea personalizar el despliegue del clúster, establezca Cluster Type en Custom al crear un clúster. De esta manera, puede personalizar el modo de despliegue de las instancias de proceso en los nodos de gestión y los nodos de control en el clúster. Solo MRS 3.x y versiones posteriores admiten la creación de clústeres en una topología personalizada.

Un clúster personalizado proporciona las siguientes funciones:

Despliegue separado de los roles de gestión y control: El rol de gestión y el rol de control se despliegan en diferentes nodos de Master.
Despliegue conjunto de los roles de gestión y control: Los roles de gestión y control se despliegan conjuntamente en el nodo de Master.
ZooKeeper se despliega en un nodo independiente para mejorar la confiabilidad.
Los componentes se despliegan por separado para evitar la contención de recursos.

Roles en un clúster MRS:

Nodo de gestión (MN): es el nodo para instalar Manager (el sistema de gestión del clúster MRS). Proporciona una entrada de acceso unificada. El administrador gestiona de forma centralizada los nodos y los servicios desplegados en el clúster.
Nodo de control (CN): controla y monitorea cómo los nodos de datos almacenan y reciben datos, y envían el estado del proceso, y proporciona otras funciones públicas. Los nodos de control de MRS incluyen HMaster, HiveServer, ResourceManager, NameNode, JournalNode y SlapdServer.
Nodo de datos (DN): Un nodo de datos ejecuta las instrucciones enviadas por el nodo de gestión, informa del estado de la tarea, almacena datos y proporciona otras funciones públicas. Los nodos de datos de MRS incluyen DataNode, RegionServer y NodeManager.

Personalización de un clúster

Inicie sesión en la consola de MRS.
Haga clic en Buy Cluster. Se muestra la página para comprar un clúster.
En la página para comprar un clúster, haga clic en la pestaña Custom Config.
Configure la información básica del clúster. Para obtener más información sobre los parámetros, consulte Configuraciones de software.
- Region: Conserva el valor predeterminado.
- Billing Mode: Seleccione Yearly/Monthly o Pay-per-use.
- Cluster Name: Puede utilizar el nombre predeterminado. Sin embargo, se recomienda incluir una abreviatura de nombre de proyecto o fecha para la memoria consolidada y fácil de distinguir, por ejemplo, mrs_20180321.
- Cluster Version: Actualmente, solo MRS 3.x está disponible.
- Cluster Type: Seleccione Custom y seleccione los componentes según sea necesario.
Haga clic en Next. Configurar la información de hardware.
- AZ: Conservar el valor predeterminado.
- Enterprise Project: Conserve el valor predeterminado.
- VPC: Conservar el valor predeterminado. Si no hay una VPC disponible, haga clic en View VPC para acceder a la consola de VPC y crear una nueva VPC.
- Subnet: Conservar el valor predeterminado.
- Security Group: Seleccione Auto create.
- EIP: Seleccione Bind later.
- CPU Architecture: Conservar el valor predeterminado. Este parámetro no está disponible en MRS 3.x.
- Common Node: Para más información, véase Descripción de plantilla de clúster personalizado.
- Node Count: Ajustar el número de instancias de clúster según el volumen de servicio. Para obtener más información, consulte Tabla 2.
- Instance Specifications: Haga clic en para configurar las especificaciones de instancia, los tipos de almacenamiento de disco de sistema y disco de datos y el espacio de almacenamiento.
- Topology Adjustment: si el modo de despliegue en Common Node no cumple los requisitos, debe instalar manualmente algunas instancias que no se despliegan de forma predeterminada, o debe instalar manualmente algunas instancias, establecer Topology Adjustment en Enable y ajustar el modo de despliegue de instancia en función de los requisitos de servicio. Para obtener más información, consulte Ajuste de topología para un clúster personalizado.
Haga clic en Next y configure las opciones avanzadas.

Para obtener más información sobre los parámetros, consulte Opciones avanzadas.
Haga clic en Next.

En la página Confirm Configuration, compruebe la información de configuración del clúster. Si necesita ajustar la configuración, haga clic en para ir a la pestaña correspondiente y configurar los parámetros de nuevo.
Seleccione Enable para habilitar las comunicaciones seguras. Para obtener más información, consulte Autorización de seguridad de comunicación.
Haga clic en Buy Now.

Si la autenticación de Kerberos está habilitada para un clúster, compruebe si es necesaria la autenticación de Kerberos. En caso afirmativo, haga clic en Continue. Si no, haga clic en Back para deshabilitar la autenticación de Kerberos y, a continuación, cree un clúster.
Haga clic en Back to Cluster List para ver el estado del clúster.

Se necesita algún tiempo para crear un clúster. El estado inicial del clúster es Starting. Una vez que el clúster se ha creado correctamente, el estado del clúster pasa a ser Running.

Descripción de plantilla de clúster personalizado

**Tabla 1** Plantillas comunes para clústeres personalizados
Nodo común	Descripción	Rango de nodos
Compact	El rol de gestión y el rol de control se despliegan en el nodo de Master y las instancias de datos se despliegan en el mismo grupo de nodos. Este modo de despliegue se aplica a escenarios en los que el número de nodos de control es inferior a 100, lo que reduce los costos.	El número de nodos de Master es mayor que o igual a 3 y menor que o igual a 11. El número total de grupos de nodos es menor o igual que 10, y el número total de nodos en grupos de nodos no Master es menor o igual que 10,000.
OMS-separate	El rol de gestión y el rol de control se despliegan en diferentes nodos de Master, y las instancias de datos se despliegan en el mismo grupo de nodos. Este modo de despliegue es aplicable a un clúster con 100 a 500 nodos y ofrece un mejor rendimiento en escenarios de carga de alta simultaneidad.	El número de nodos de Master es mayor o igual que 5 y menor o igual que 11. El número total de grupos de nodos es menor o igual que 10, y el número total de nodos en grupos de nodos no Master es menor o igual que 10,000.
Full-size	El rol de gestión y el rol de control se despliegan en diferentes nodos de Master, y las instancias de datos se despliegan en diferentes grupos de nodos. Este modo de despliegue es aplicable a un clúster con más de 500 nodos. Los componentes se pueden desplegar por separado, lo que se puede utilizar para una escala de clúster más grande.	El número de nodos de Master es mayor o igual que 9 y menor o igual que 11. El número total de grupos de nodos es menor o igual que 10, y el número total de nodos en grupos de nodos no Master es menor o igual que 10,000.

**Tabla 2** Esquema de despliegue de nodos de un clúster MRS personalizado
Principio de despliegue de nodos		Escenario de aplicación	Regla de redes
Los nodos de gestión, los nodos de control y los nodos de datos se despliegan por separado. (Este esquema requiere al menos ocho nodos.)	MN × 2 + CN × 9 + DN × n	(Recomendado) Este esquema se utiliza cuando el número de nodos de datos es de 500 a 2000.	Si el número de nodos en un grupo excede de 200, los nodos se distribuyen a diferentes subredes y las subredes se interconectan entre sí en la Capa 3 usando conmutadores de núcleo. Cada subred puede contener un máximo de 200 nodos y la asignación de nodos a diferentes subredes debe estar equilibrada. Si el número de nodos es inferior a 200, los nodos del clúster se despliegan en la misma subred y los nodos se interconectan entre sí en la capa 2 mediante conmutadores de agregación.
	MN × 2 + CN × 5 + DN × n	(Recomendado) Este esquema se usa cuando el número de nodos de datos es de 100 a 500.
	MN × 2 + CN × 3 + DN × n	(Recomendado) Este esquema se usa cuando el número de nodos de datos es de 30 a 100.
Los nodos de gestión y los nodos de control se despliegan juntos, y los nodos de datos se despliegan por separado.	(MN+CN) × 3 + DN × n	(Recomendado) Este esquema se usa cuando el número de nodos de datos es de 3 a 30.	Los nodos del clúster se despliegan en la misma subred y se interconectan entre sí en la capa 2 a través de conmutadores de agregación.
Los nodos de gestión, los nodos de control y los nodos de datos se despliegan juntos.		Este esquema es aplicable a un clúster que tiene menos de 6 nodos. Este esquema requiere al menos tres nodos. NOTA: Esta plantilla no se recomienda en el entorno de producción o comercial. Si los nodos de gestión, control y datos se implementan conjuntamente, el rendimiento y la confiabilidad del clúster se ven muy afectados. Si el número de nodos cumple con los requisitos, despliegue los nodos de datos por separado. Si el número de nodos es insuficiente para admitir nodos de datos desplegados por separado, utilice el modo de red de doble plano para este escenario. El tráfico de la red de gestión se aísla del de la red de servicio para evitar volúmenes de datos excesivos en el plano de servicio, asegurando la correcta entrega de las operaciones de gestión.	Los nodos del clúster se despliegan en la misma subred y se interconectan entre sí en la capa 2 a través de conmutadores de agregación.

Ajuste de topología para un clúster personalizado

**Tabla 3** Ajuste de topología
Servicio	Dependencia	Rol	Sugerencias de despliegue de roles	Descripción
OMSServer	-	OMSServer	Este rol se puede desplegar en el nodo de Master y no se puede modificar.	-
ClickHouse	Depende de ZooKeeper.	CHS (ClickHouseServer)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: un número par comprendido entre 2 y 256	Un grupo de nodos que no sea Master con este rol asignado se considera como un nodo Core.
ClickHouse	Depende de ZooKeeper.	CLB (ClickHouseBalancer)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol que se desplegarán: 2 a 256	-
ZooKeeper	-	QP(quorumpeer)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: De 3 a 9, con un tamaño de paso de 2	-
Hadoop	Depende de ZooKeeper.	NN(NameNode)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 2	-
		HFS (HttpFS)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol que se desplegarán: 0 a 10	-
		JN(JournalNode)	This role can be deployed on the Master node only. Number of role instances to be deployed: 3 to 60, with the step size of 2	-
		DN(DataNode)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: De 3 a 10,000	Un grupo de nodos que no sea Master con este rol asignado se considera como un nodo Core.
		RM(ResourceManager)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 2	-
		NM(NodeManager)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: De 3 a 10,000	-
		JHS(JobHistoryServer)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 1 a 2	-
		TLS(TimelineServer)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 0 a 1	-
Presto	Depende de Hive.	PCD(Coordinator)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 2	-
Presto	Depende de Hive.	PWK(Worker)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: 1 a 10,000	-
Spark2x	Depende de Hadoop. Depende de Hive. Depende de ZooKeeper.	JS2X(JDBCServer2x)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol que se desplegarán: 2 a 10	-
		JH2X(JobHistory2x)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 2	-
		SR2X(SparkResource2x)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol que se desplegarán: 2 a 50	-
		IS2X(IndexServer2x)	(Opcional) Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 0 a 2, con un tamaño de paso de 2	-
HBase	Depende de Hadoop.	HM(HMaster)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 2	-
		TS(ThriftServer)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: 0 a 10,000	-
		RT(RESTServer)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: 0 a 10,000	-
		RS(RegionServer)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: De 3 a 10,000	-
		TS1(Thrift1Server)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: 0 a 10,000	Si el servicio Hue está instalado en un clúster y HBase necesita usarse en la interfaz de usuario web Hue, instale esta instancia para el servicio HBase.
Hive	Depende de Hadoop. Depende de DBService.	MS(MetaStore)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol que se desplegarán: 2 a 10	-
		WH (WebHCat)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol que se desplegarán: 1 a 10	-
		HS(HiveServer)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol que se desplegarán: 2 a 80	-
Hue	Depende de DBService.	H(Hue)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 2	-
Sqoop	Depende de Hadoop.	SC(SqoopClient)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: 1 a 10,000	-
Kafka	Depende de ZooKeeper.	B(Broker)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: De 3 a 10,000	-
Flume	-	MS(MonitorServer)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 1 a 2	-
Flume	-	F(Flume)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: 1 a 10,000	Un grupo de nodos que no sea Master con este rol asignado se considera como un nodo Core.
Tez	Depende de Hadoop. Depende de DBService. Depende de ZooKeeper.	TUI(TezUI)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 1 a 2	-
Flink	Depende de ZooKeeper. KrbServer DBService Depende de Hadoop.	FR(FlinkResource)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: 1 a 10,000	-
Flink		FS(FlinkServer)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol que se desplegarán: 0 a 2	-
Oozie	Depende de Hadoop. Depende de DBService. Depende de ZooKeeper.	O(oozie)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 2	-
Impala	Depende de Hadoop. Depende de Hive. Depende de DBService. Depende de ZooKeeper.	StateStore	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol que se desplegarán: 1	-
		Catalog	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol que se desplegarán: 1	-
		Impalad	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: 1 a 10,000	-
Kudu	-	KuduMaster	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol que se desplegarán: 3 o 5	-
Kudu	-	KuduTserver	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: De 3 a 10,000	-
Ranger	Depende de DBService.	RA(RangerAdmin)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol a desplegar: 1 a 2	-
		USC(UserSync)	Este rol solo se puede desplegar en el nodo de Master. Número de instancias de rol que se desplegarán: 1	-
		TSC (TagSync)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: 0 a 1	-
HetuEngine (aplicable únicamente a MRS 3.1.2-LTS.3)	Depende de Hadoop. Depende de DBService. Depende de Hive. Depende de ZooKeeper.	HSB(HSBroker)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol que se desplegarán: 2 a 50	-
		HSC(HSConsole)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol a desplegar: 2	-
		HSF(HSFabric)	Este rol se puede desplegar en todos los nodos. Número de instancias de rol que se desplegarán: 0 a 50	-

Tema principal: Configuración de un clúster

Tema anterior: Compra de un clúster personalizado

Tema siguiente: Adición de una etiqueta a un clúster

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar