Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Mostrar todo

Centro de ayuda/ MapReduce Service/ Descripción general del servicio/ Componentes/ Spark2x/ Solución de Spark2x HA/ Multitenant de Spark2x

Multitenant de Spark2x

Actualización más reciente 2023-04-14 GMT+08:00

Ver PDF

Fondo

En el modo de instancia multiactiva de JDBCServer, JDBCServer implementa el modo de Yarn-client, pero solo hay disponible una cola de recursos de Yarn. Para resolver el problema de limitación de recursos, se introduce el modo multitetant.

En el modo multitenant, JDBCServers están vinculados con tenants. Cada tenant corresponde a uno o más JDBCServers, y un JDBCServer proporciona servicios para un solo tenant. Se pueden configurar diferentes tenants con diferentes colas de Yarn para implementar el aislamiento de recursos. Además, JDBCServer puede iniciarse dinámicamente según sea necesario para evitar el desperdicio de recursos.

Implementación

Figura 1 muestra la solución de HA del modo multitenant.

Figura 1 Modo multitenant de Spark JDBCServer
haga clic para agrandar

Cuando se inicia ProxyServer, se registra con ZooKeeper escribiendo información de nodo en un directorio especificado. La información de nodo incluye la IP de instancia, el número de puerto, la versión y el número de serie (la información de diferentes nodos está separada por comas).
NOTA:

En el modo multitenant, la instancia de JDBCServer en la página MRS indica ProxyServer, el agente de JDBCServer.
Un ejemplo es el siguiente:
```
serverUri=192.168.169.84:22550
;version=8.1.0.1;sequence=0000001244,serverUri=192.168.195.232:22550
;version=8.1.0.1;sequence=0000001242,serverUri=192.168.81.37:22550
;version=8.1.0.1;sequence=0000001243, 
```
Para conectarse a ProxyServer, el cliente debe especificar un espacio de nombres, que es el directorio de la instancia de ProxyServer a la que desea acceder en ZooKeeper. Cuando el cliente se conecta a ProxyServer se selecciona aleatoriamente una instancia en Namespace para la conexión. Para obtener más información sobre la dirección URL, consulte Conexión de URL.
Una vez que el cliente se conecta correctamente a ProxyServer, ProxyServer comprueba si existe el JDBCServer de un tenant. En caso afirmativo, Beeline conecta el JDBCServer. Si no, se inicia un nuevo JDBCServer en modo de Yarn-cluster. Después del inicio de JDBCServer, ProxyServer obtiene la dirección IP del JDBCServer y establece la conexión entre Beeline y JDBCServer.
El cliente envía sentencias de SQL a ProxyServer que luego reenvía sentencias al JDBCServer conectado. JDBCServer devuelve los resultados a ProxyServer que luego devuelve los resultados al cliente.

En el modo multitenant de HA, todas las instancias de ProxyServer son independientes y equivalentes. Si una instancia se interrumpe durante la actualización, otras instancias pueden aceptar la solicitud de conexión del cliente.

Conexión de URL

Modo multitenant

En modo multitenant, el cliente lee el contenido del nodo de ZooKeeper y se conecta a ProxyServer. Las cadenas de conexión son las siguientes:

Modo de seguridad:
- Si la autenticación de Kinit está habilitada, la URL del cliente es la siguiente:
```
jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<System domain name>@<System domain name>;
```
  NOTA:
  - <zkNode_IP>:<zkNode_Port> indica la URL del ZooKeeper. Utilice comas (,) para separar varias URL,
    Por ejemplo, 192.168.81.37:2181,192.168.195.232:2181,192.168.169.84:2181.
  - sparkthriftserver2x indica el directorio de ZooKeeper donde una instancia de JDBCServer aleatoria está conectada al cliente.
  Por ejemplo, cuando utiliza el cliente Beeline para la conexión en modo de seguridad, ejecute el siguiente comando:
  
  sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<System domain name>@<System domain name>;"
- Si la autenticación de Keytab está habilitada, la URL es la siguiente:
```
jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<System domain name>@<System domain name>;user.principal=<principal_name>;user.keytab=<path_to_keytab>
```
  <principal_name> indica el principal del usuario de Kerberos, por ejemplo, test@<System domain name>. <path_to_keytab> indica la ruta del archivo Keytab correspondiente a <principal_name> como, por ejemplo, /opt/auth/test/user.keytab.
Modo común:
```
jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;
```
Por ejemplo, cuando utiliza el cliente de Beeline para la conexión en modo común, ejecute el siguiente comando:

sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;"

Modo no multitenant

En modo no multitenant, un cliente se conecta a un nodo de JDBCServer especificado. En comparación con el modo de instancia multiactiva, la cadena de conexión en el modo de instancia no multiactiva no contiene los parámetros serviceDiscoveryMode y zooKeeperNamespace sobre ZooKeeper.

Por ejemplo, cuando utiliza el cliente de Beeline para conectar JDBCServer en modo de instancia de non-multitenant, ejecute el siguiente comando:

sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<server_IP>:<server_Port>/;user.principal=spark/hadoop.<System domain name>@<System domain name>;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<System domain name>@<System domain name>;"

NOTA:

<server_IP>:<server_Port> indica la dirección URL del nodo de JDBCServer especificado.
CLIENT_HOME indica la ruta del cliente.

Excepto el método de conexión, otras operaciones de JDBCServer API en modo de multitenant y modo non-multitenant son las mismas. Spark JDBCServer es otra implementación de HiveServer2 en Hive. Para obtener más información sobre cómo usar Spark JDBCServer, visite el sitio web oficial de Hive en https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients.

Especificación de un tenant

Generalmente, el cliente enviado por un usuario se conecta al JDBCServer predeterminado del tenant al que pertenece el usuario. Si desea conectar el cliente al JDBCServer de un tenant especificado, agregue el parámetro --hiveconf mapreduce.job.queuename.

El comando para conectar Beeline es el siguiente (aaa indica el nombre del tenant):

beeline --hiveconf mapreduce.job.queuename=aaa -u 'jdbc:hive2://192.168.39.30:2181,192.168.40.210:2181,192.168.215.97:2181;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<System domain name>@<System domain name>;'

Tema principal: Solución de Spark2x HA

Tema anterior: Instancia multiactiva de Spark2x

Tema siguiente: Relación entre Spark2x y otros componentes

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar