Descripción del parche MRS 2.1.0.10
Información básica:
|
Versión del parche |
MRS 2.1.0.10 |
|---|---|
|
Fecha de lanzamiento |
2020-09-21 |
|
Problemas resueltos |
Lista de problemas resueltos en MRS 2.1.0.10: MRS Manager Las nuevas configuraciones de cola en el archivo capacity-schedule.xml no se perderán durante el escalamiento horizontal del clúster después de instalar el parche. El monitoreo de enlace completo se puede revertir. Componentes de Big data Se ha resuelto la falla de asignación de permisos de Hive en Spark. Si no se especifica ninguna cola, las tareas se envían a la cola de launcher-job de forma predeterminada. La tarea que se ejecuta no se verá afectada. |
|
Lista de problemas resueltos en MRS 2.1.0.9: MRS Manager Se resuelve el desbordamiento de memoria del MRS Executor. Proceso de escalamiento horizontal del clúster optimizado. Se resuelve el problema de que la sentencia SQL se combina incorrectamente cuando el valor de SparkSQL contiene espacios. Se resuelve el problema de que los trabajos de HiveSQL no se envían ocasionalmente. El control de permisos para descargar el archivo keytab está optimizado. Componentes de Big data Cuando el nombre del rol Presto contiene letras mayúsculas, el modelo de permisos puede tener efecto. Se resuelve el problema de que las particiones Hive se eliminan lentamente. Se resuelve el problema de que el token caduca después de que Spark se ejecute durante mucho tiempo. |
|
|
Lista de problemas resueltos en MRS 2.1.0.8: MRS Manager Se ha resuelto el problema de que el tráfico de la API de ECS está limitado cuando se accede a OBS a través de una delegación. Varios usuarios pueden iniciar sesión en MRS Manager al mismo tiempo. Se admite el monitoreo de enlace completo. Componentes de big data de MRS Se ha actualizado Carbon 2.0. Se ha resuelto el problema HBASE-18484. |
|
|
Lista de problemas resueltos en MRS 2.1.0.7: MRS Manager Se ha resuelto el problema de que los datos y los archivos se muestran incorrectamente si un campo contiene un carácter de nueva línea en la consulta DLF+Presto. El resultado de la consulta Presto se puede guardar como un archivo. |
|
|
Lista de problemas resueltos en MRS 2.1.0.6: MRS Manager Se ha resuelto el problema de que el uso de E/S de disco de los datos de monitoreo es inexacto. Se ha resuelto el problema de que el estado del trabajo de Spark no se actualiza ocasionalmente. El problema de que se ha solucionado el error en la ejecución del trabajo. El mecanismo de parche se ha optimizado. Componentes de big data de MRS Se rectifican las excepciones de HBase. Se ha resuelto el problema de que el sistema responde lentamente cuando los roles de Hive están vinculados a permisos. |
|
|
Lista de problemas resueltos en MRS 2.1.0.5: Componentes de big data de MRS Impala soporta la función de ObsFileSystem. Se puede configurar el período de tiempo de espera de la página MRS Manager y las páginas nativas de los componentes. Se ha resuelto el problema de congelación de la unión de privilegios de Hive. Se ha solucionado el error de conexión de datos. |
|
|
Lista de problemas resueltos en MRS 2.1.0.3: MRS Manager Se han resuelto los problemas de la alta entrega de trabajos simultáneos de Manager executor. Componentes de big data de MRS Se ha corregido el error de inserción de datos en hive on tez. |
|
|
Lista de problemas resueltos en MRS 2.1.0.2: MRS Manager No se muestra ninguna información de monitoreo después de reiniciar NodeAgent. Cuando un trabajo está bajo envío durante mucho tiempo, se produce un desbordamiento de memoria en el proceso manager executor. Se admite la presentación de trabajos. manager executor se puede utilizar para configurar una alta simultaneidad. Los nuevos topics de Kafka no se muestran en el plano de gestión de MRS Manager. Cuando invoca a las API del clúster de seguridad para enviar el trabajo Spark Submit y realizar operaciones en una tabla HBase, el control de permisos en la tabla HBase no tiene efecto. Se ha optimizado el mecanismo de parche de MRS Manager. Componentes de big data de MRS Se ha optimizado el funcionamiento lento del comando load data inpath ejecutado por Spark. Los nombres de columna que contienen el signo de dólar ($) se pueden utilizar en la creación de tablas de Spark. Los problemas relacionados con la OBS han sido resueltos. |
|
|
Lista de problemas resueltos en MRS 2.1.0.1: MRS Manager Se han optimizado los resultados de retorno de las sentencias de Hive SQL enviadas por los trabajos V2 y se ha resuelto el problema de que los trabajos V2 no se envíen con un token de delegación. Componentes de big data de MRS HiveServer fuera de memoria (OOM) se ha resuelto para MRS Hive: HIVE-10970 y HIVE-22275. |
|
|
Compatibilidad con otros parches |
El paquete de parches MRS 2.1.0.10 contiene todos los parches publicados para MRS 2.1.0. |
|
Divulgación de vulnerabilidades |
Se ha corregido la vulnerabilidad de ejecución remota de código de Spark. Para obtener más información acerca de la vulnerabilidad, consulte CVE-2020-9480 |
Impacto de la instalación de parches
- Durante la instalación del parche MRS 2.1.0.10, MRS Manager se reiniciará, y los componentes como Hive, Impala, Spark, HDFS, Yarn, MapReduce, Presto, HBase, Tez, y los servicios dependientes relacionados se reiniciarán en modo rodante. Durante el reinicio de MRS Manager, los servicios no están disponibles temporalmente, pero los servicios no se interrumpen durante el reinicio rodante.
- Después de instalar el parche MRS 2.1.0.10, debe descargar e instalar de nuevo todos los clientes, incluidos los clientes originales de los nodos de Master y los clientes utilizados por otros nodos de VPC (es decir, los clientes que ha configurado).
- Para obtener más información acerca de cómo actualizar completamente el cliente original del nodo maestro activo, consulte Actualización completa del cliente original del nodo de Master activo.
- Para obtener más información acerca de cómo actualizar completamente el cliente original del nodo Master en espera, consulte Actualización completa del cliente original del nodo de Master en espera.
- Para obtener más información acerca de cómo instalar completamente los clientes que configuró, consulte Instalación de un cliente (Versiones anteriores a 3.x).
- Se le aconseja hacer una copia de respaldo de los clientes antiguos antes de volver a instalar los nuevos.
- Si ha modificado las configuraciones de cliente según el escenario del servicio, vuelva a modificarlas después de reinstalar los clientes.
- (Opcional) Se puede configurar el intervalo de tiempo de espera de la página MRS Manager y la página nativa del componente. Es necesario modificar manualmente la siguiente configuración:
- Cambie el intervalo de tiempo de espera de sesión de los servicios web y CAS en todos los nodos de Master.
- Cambie el valor de <session-timeout>20</session-timeout> en /opt/Bigdata/tomcat/webapps/cas/WEB-INF/web.xml. La unidad es un minuto.
- Cambie el valor de <session-timeout>20</session-timeout> en /opt/Bigdata/tomcat/webapps/web/WEB-INF/web.xml. La unidad es un minuto.
- Cambie el período de validez de TGT del CAS en todos los nodos de Master.
Cambie 1200 de p:maxTimeToLiveInSeconds="${tgt.maxTimeToLiveInSeconds:1200} y p:timeToKillInSeconds="${tgt.timeToKillInSeconds:1200}" de /opt/Bigdata/tomcat/webapps/cas/WEB-INF/spring-configuration/ticketExpirationPolicies.xml al intervalo de tiempo de espera correspondiente, en segundos.
- Reinicie el servicio Tomcat en el nodo de Master activo.
- En el nodo de Master activo, ejecute el comando netstat -anp |grep 28443 |grep LISTEN como usuario omm para consultar el ID de proceso de Tomcat.
- Ejecute el comando kill -9 {pid}, en el que {pid} indica el ID de proceso obtenido en el paso anterior.
- Espere a que el proceso se reinicie automáticamente. Puede ejecutar el comando netstat -anp |grep 28443 |grep LISTEN para comprobar si se ha iniciado el proceso. Si se muestra la salida del comando, el proceso se inicia correctamente.
- Agregar o modificar elementos de configuración para cada componente. Los valores de los elementos de configuración son los mismos que el intervalo de tiempo de espera, en segundos.
- HDFS/MapReduce/Yarn: Agregue el elemento de configuración personalizado http.server.session.timeout.secs.
- Spark: Cambie el valor de spark.session.maxAge.
- Hive: Agregue el elemento de configuración personalizado http.server.session.timeout.secs.
Al guardar los elementos de configuración, puede elegir no reiniciar los servicios o instancias afectados. Reinicie los servicios o instancias cuando el servicio no esté ocupado.
- Cambie el intervalo de tiempo de espera de sesión de los servicios web y CAS en todos los nodos de Master.
