Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.
Centro de ayuda/ MapReduce Service/ Descripción general del servicio/ Componentes/ Spark/ Solución de Spark HA
Actualización más reciente 2023-04-14 GMT+08:00
Ver PDF
Compartir

Solución de Spark HA

Solución de implementación y principios de HA de instancia multiactiva de Spark

Basado en JDBCServer existente en la comunidad, el modo de instancia multiactiva se utiliza para lograr HA. En este modo, varios JDBCServers coexisten en el clúster y el cliente puede conectar aleatoriamente cualquier JDBCServer para realizar operaciones de servicio. Cuando uno o varios JDBCServers dejan de funcionar, un cliente puede conectarse a otro JDBCServer normal.

En comparación con el modo HA activo/en espera, el modo de instancia multiactivo tiene las siguientes ventajas:

  • En HA activo/en espera, cuando se produce la conmutación activa/en espera, JDBCServer no puede controlar el período no disponible, pero depende de los recursos de servicio de Yarn.
  • En Spark, el Thrift JDBC similar a HiveServer2 proporciona servicios y los usuarios acceden a los servicios a través de Beeline y JDBC API. Por lo tanto, la capacidad de procesamiento del clúster de JDBCServer depende de la capacidad de punto único del servidor primario, y la escalabilidad es insuficiente.

El modo HA de instancia multiactiva no solo puede evitar la interrupción del servicio causada por la conmutación, sino que también permite el escalado horizontal del clúster para mejorar la alta concurrencia.

  • Implementación
    La siguiente figura muestra el principio básico de HA de instancia multiactiva de Spark JDBCServer.
    Figura 1 Spark JDBCServer HA
  1. Cuando se inicia un JDBCServer, se registra con ZooKeeper escribiendo información de nodo en un directorio especificado. La información del nodo incluye la dirección IP de la instancia, el número de puerto, la versión y el número de serie.
  2. Para conectarse a JDBCServer, el cliente debe especificar el espacio de nombres, que es el directorio de las instancias de JDBCServer en ZooKeeper. Durante la conexión, se selecciona aleatoriamente una instancia de JDBCServer del espacio de nombres especificado.
  3. Una vez que la conexión se realiza correctamente, el cliente envía sentencias de SQL a JDBCServer.
  4. JDBCServer ejecuta sentencias de SQL recibidas y devuelve los resultados al cliente.

Si el HA de instancia multiactiva de Spark JDBCServer está habilitado, todas las instancias de JDBCServer son independientes y equivalentes. Cuando se interrumpe una instancia de JDBCServer durante la actualización, otras instancias de JDBCServer pueden aceptar la solicitud de conexión del cliente.

Las siguientes reglas deben seguirse en la instancia multiactiva HA de Spark JDBCServer.
  • Si una instancia de JDBCServer sale de forma anormal, ninguna otra instancia se hará cargo de las sesiones y servicios que se ejecutan en la instancia anormal.
  • Cuando se detiene el proceso de JDBCServer, los nodos correspondientes se eliminan de ZooKeeper.
  • El cliente selecciona aleatoriamente el servidor, lo que puede dar como resultado una asignación de sesión desigual causada por la distribución aleatoria de los resultados de la política, y finalmente dar como resultado un desequilibrio de carga de las instancias.
  • Después de que la instancia entra en el modo de mantenimiento (en el que no se aceptan nuevas solicitudes de conexión de los clientes), los servicios que se ejecutan en la instancia pueden fallar cuando se agota el tiempo de desmantelamiento.
  • Conexión de URL
    • Modo de instancia multiactiva

      En el modo de instancia multiactiva, el cliente lee el contenido del nodo ZooKeeper y se conecta a JDBCServer. Las cadenas de conexión se enumeran a continuación.

      • Modo de seguridad:
        Si la autenticación de Kinit está habilitada, JDBCURL es la siguiente: 
        jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<System domain name>@<System domain name>;
        • En el JDBCURL anterior, <zkNode_IP>:<zkNode_Port> indica la URL ZooKeeper. Utilice comas (,) para separar varias URL,

          Ejemplo: 192.168.81.37:2181,192.168.195.232:2181,192.168.169.84:2181.

        • sparkthriftserver2x indica el directorio de ZooKeeper donde una instancia de JDBCServer aleatoria está conectada al cliente.

        Por ejemplo, cuando utiliza el cliente Beeline para conectar JDBCServer, ejecute el siguiente comando:

        sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<System domain name>@<System domain name>;"

        Si la autenticación de Keytab está habilitada, JDBCURL es la siguiente: 
        jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<System domain name>@<System domain name>;user.principal=<principal_name>;user.keytab=<path_to_keytab>

        En la URL anterior <principal_name> indica el principal del usuario de Kerberos, por ejemplo, test@<System domain name>; <path_to_keytab> indica la ruta del archivo de Keytab correspondiente a <principal_name>, por ejemplo, /opt/auth/test/user.keytab.

      • Modo común: 
        jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;

        Por ejemplo, cuando utiliza el cliente de Beeline, en modo normal, para la conexión, ejecute el siguiente comando:

        sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;"

    • Modo de instancia no multiactiva

      En este modo, un cliente se conecta a un nodo de JDBCServer especificado. En comparación con el modo de instancia multiactivo, la cadena de conexión en este modo no contiene los parámetros serviceDiscoveryMode y zooKeeperNamespace sobre ZooKeeper.

      Por ejemplo, cuando utiliza el cliente de Beeline, en modo de seguridad, para conectar JDBCServer en modo de instancia no multiactivo, ejecute el siguiente comando:

      sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<server_IP>:<server_Port>/;user.principal=spark/hadoop.<System domain name>@<System domain name>;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<System domain name>@<System domain name>;"

      • In the above command, <server_IP>:<server_Port> indicates the URL of the specified JDBCServer node.
      • CLIENT_HOME indica la ruta del cliente.

      Excepto el método de conexión, otras operaciones de la API de JDBCServer en los dos modos son las mismas. Spark JDBCServer es otra implementación de HiveServer2 en Hive. Para obtener más información sobre cómo usar JDBCServer de Spark, consulte https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients.

Spark Multi-Tenant HA

En la solución de instancia multiactiva de JDBCServer, JDBCServer utiliza el modo Yarn-client, pero solo hay una cola de recursos de Yarn disponible. Para resolver este problema de limitación de recursos, se introduce el modo multitenant.

En el modo multitenant, JDBCServers están vinculados con tenants. Cada tenant corresponde a uno o más JDBCServers, y un JDBCServer proporciona servicios para un solo tenant. Se pueden configurar diferentes tenants con diferentes colas de Yarn para implementar el aislamiento de recursos. Además, JDBCServer puede iniciarse dinámicamente según sea necesario para evitar el desperdicio de recursos.

  • Implementación

    Figura 2 muestra la solución de HA del modo multitenant.

    Figura 2 Modo multitenant de Spark JDBCServer
    1. Cuando se inicia ProxyServer, se registra con ZooKeeper escribiendo información de nodo en un directorio especificado. La información del nodo incluye la dirección IP de la instancia, el número de puerto, la versión y el número de serie.

      En el modo multitenant, la instancia JDBCServer hace referencia al ProxyServer (JDBCServer proxy).

    2. Para conectarse a ProxyServer, el cliente debe especificar un espacio de nombres, que es el directorio de la instancia de ProxyServer donde desea acceder a ZooKeeper. Cuando el cliente se conecta a ProxyServer se selecciona una instancia aleatoria bajo el espacio de nombres para la conexión. Para obtener más información sobre la dirección URL, consulte Descripción de la conexión de URL.
    3. Después de que el cliente se conecta correctamente a ProxyServer, que primero comprueba si existe el JDBCServer de un tenant. En caso afirmativo, Beeline conecta el JDBCServer. Si no, se inicia un nuevo JDBCServer en modo de Yarn-cluster. Después del inicio de JDBCServer, ProxyServer obtiene la dirección IP del JDBCServer y establece la conexión entre Beeline y JDBCServer.
    4. El cliente envía sentencias SQL a ProxyServer que reenvía las sentencias al JDBCServer conectado. JDBCServer devuelve los resultados a ProxyServer que luego devuelve los resultados al cliente.

    En el modo HA de instancia multiactiva, todas las instancias son independientes y equivalentes. Si una instancia se interrumpe durante la actualización, otras instancias pueden aceptar la solicitud de conexión del cliente.

  • Descripción de conexión de URL
    • Modo multitenant

      En modo multitenant, el cliente lee el contenido del nodo de ZooKeeper y se conecta a ProxyServer. Las cadenas de conexión se enumeran a continuación.

      • Modo de seguridad:
        Si la autenticación de Kinit está habilitada, la URL del cliente es la siguiente: 
        jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<System domain name>@<System domain name>;
        • En la URL anterior, <zkNode_IP>:<zkNode_Port> indica la URL de ZooKeeper. Utilice comas (,) para separar varias URL,

          Ejemplo: 192.168.81.37:2181,192.168.195.232:2181,192.168.169.84:2181.

        • sparkthriftserver2x indica el directorio de ZooKeeper donde una instancia de JDBCServer aleatoria está conectada al cliente.

        Por ejemplo, cuando utiliza el cliente de Beeline para la conexión, ejecute el siguiente comando:

        sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<System domain name>@<System domain name>;"

        Si la autenticación de Keytab está habilitada, la URL es la siguiente: 
        jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<System domain name>@<System domain name>;user.principal=<principal_name>;user.keytab=<path_to_keytab>

        En la URL anterior <principal_name> indica el principal del usuario de Kerberos, por ejemplo, test@<System domain name>; <path_to_keytab> indica la ruta del archivo de Keytab correspondiente a <principal_name>, por ejemplo, /opt/auth/test/user.keytab.

      • Modo común: 
        jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;

        Por ejemplo, ejecute el siguiente comando cuando utilice el cliente de Beeline para la conexión en modo normal:

        sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;"

    • Modo no multitenant

      En modo no multitenant, un cliente se conecta a un nodo de JDBCServer especificado. En comparación con el modo de instancia multi-inquilino, la cadena de conexión en este modo no contiene los parámetros serviceDiscoveryMode y zooKeeperNamespace sobre ZooKeeper.

      Por ejemplo, cuando utiliza el cliente de Beeline para conectar JDBCServer en modo de instancia de non-multitenant, ejecute el siguiente comando:

      sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<server_IP>:<server_Port>/;user.principal=spark/hadoop.<System domain name>@<System domain name>;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<System domain name>@<System domain name>;"

      • En el comando anterior, <server_IP>:<server_Port> indica la URL del nodo JDBCServer especificado.
      • CLIENT_HOME indica la ruta del cliente.

      Excepto el método de conexión, otras operaciones de JDBCServer API en modo de multitenant y modo non-multitenant son las mismas. Spark JDBCServer es otra implementación de HiveServer2 en Hive. Para obtener más información sobre cómo usar Spark JDBCServer, visite el sitio web oficial de Hive en https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients.

      Especificación de un tenant

      Generalmente, el cliente enviado por un usuario se conecta al JDBCServer predeterminado del tenant al que pertenece el usuario. Si desea conectar el cliente al JDBCServer de un tenant especificado, agregue el parámetro --hiveconf mapreduce.job.queuename.

      Si utiliza el cliente Beeline para la conexión, ejecute el siguiente comando (el nombre del tenant es aaa):

      beeline --hiveconf mapreduce.job.queuename=aaa -u 'jdbc:hive2://192.168.39.30:2181,192.168.40.210:2181,192.168.215.97:2181;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<System domain name>@<System domain name>;'

Tema principal: Spark