Descripción del parche de MRS 2.1.0.7
Información básica
|
Versión del parche |
MRS 2.1.0.7 |
|---|---|
|
Fecha de lanzamiento |
2020-07-15 |
|
Problemas resueltos |
Lista de problemas resueltos en MRS 2.1.0.7: MRS Manager Se ha resuelto el problema de que los datos y los archivos se muestran incorrectamente si un campo contiene un carácter de nueva línea en la consulta DLF+Presto. El resultado de la consulta Presto se puede guardar como un archivo. |
|
Lista de problemas resueltos en MRS 2.1.0.6: MRS Manager Se ha resuelto el problema de que el uso de E/S de disco de los datos de monitoreo es inexacto. Se ha resuelto el problema de que el estado del trabajo de Spark no se actualiza ocasionalmente. El problema de que se ha solucionado el error en la ejecución del trabajo. El mecanismo de parche se ha optimizado. Componentes de big data de MRS Se rectifican las excepciones de HBase. Se ha resuelto el problema de que el sistema responde lentamente cuando los roles de Hive están vinculados a permisos. |
|
|
Lista de problemas resueltos en MRS 2.1.0.5: Componentes de big data de MRS Impala soporta la función de ObsFileSystem. Se puede configurar el período de tiempo de espera de la página MRS Manager y las páginas nativas de los componentes. Se ha resuelto el problema de congelación de la unión de privilegios de Hive. Se ha solucionado el error de conexión de datos. |
|
|
Lista de problemas resueltos en MRS 2.1.0.3: MRS Manager Se han resuelto los problemas de la alta entrega de trabajos simultáneos de Manager executor. Componentes de big data de MRS Se ha corregido el error de inserción de datos en hive on tez. |
|
|
Lista de problemas resueltos en MRS 2.1.0.2: MRS Manager No se muestra ninguna información de monitoreo después de reiniciar NodeAgent. Cuando un trabajo está bajo envío durante mucho tiempo, se produce un desbordamiento de memoria en el proceso manager executor. Se admite la presentación de trabajos. manager executor se puede utilizar para configurar una alta simultaneidad. Los nuevos temas de Kafka no se muestran en el plano de gestión de MRS Manager. Cuando invoca a las API del clúster de seguridad para enviar el trabajo Spark Submit y realizar operaciones en una tabla HBase, el control de permisos en la tabla HBase no tiene efecto. Se ha optimizado el mecanismo de parche de MRS Manager. Componentes de big data de MRS Se ha optimizado el funcionamiento lento del comando load data inpath ejecutado por Spark. Los nombres de columna que contienen el signo de dólar ($) se pueden utilizar en la creación de tablas de Spark. Los problemas relacionados con la OBS han sido resueltos. |
|
|
Lista de problemas resueltos en MRS 2.1.0.1: MRS Manager Se han optimizado los resultados de retorno de las sentencias de Hive SQL enviadas por los trabajos V2 y se ha resuelto el problema de que los trabajos V2 no se envíen con un token de agencia. Componentes de big data de MRS HiveServer fuera de memoria (OOM) se ha resuelto para MRS Hive: HIVE-10970 y HIVE-22275. |
|
|
Compatibilidad con otros parches |
El paquete de parches de MRS 2.1.0.7 contiene todos los parches publicados para MRS 2.1.0. |
Impacto de la instalación de parches
- Durante la instalación del parche MRS 2.1.0.7, MRS Manager se reiniciará, y los componentes como Hive, Impala, Spark, HDFS, Yarn, MapReduce, Presto, HBase, Tez, y los servicios dependientes relacionados se reiniciarán en modo continuo. Durante el reinicio de MRS Manager, los servicios no están disponibles temporalmente, pero los servicios no se interrumpen durante el reinicio continuo.
- Después de instalar el parche MRS 2.1.0.7, debe descargar e instalar de nuevo todos los clientes, incluidos los clientes originales de los nodos de Master y los clientes utilizados por otros nodos de VPC (es decir, los clientes que ha configurado).
- Para obtener más información acerca de cómo actualizar completamente el cliente original del nodo maestro activo, consulte Actualización completa del cliente original del nodo de Master activo.
- Para obtener más información acerca de cómo actualizar completamente el cliente original del nodo maestro en espera, consulte Actualización completa del cliente original del nodo de Master en espera.
- Para obtener más información acerca de cómo instalar completamente los clientes que configuró, consulte Instalación de un cliente (Versiones anteriores a 3.x).
- Se le aconseja hacer una copia de respaldo de los clientes antiguos antes de volver a instalar los nuevos.
- Si ha modificado las configuraciones de cliente según el escenario del servicio, vuelva a modificarlas después de reinstalar los clientes.
- (Opcional) Se puede configurar el intervalo de tiempo de espera de la página MRS Manager y la página nativa del componente. Es necesario modificar manualmente la siguiente configuración:
- Cambie el intervalo de tiempo de espera de sesión de los servicios web y CAS en todos los nodos de Master.
- Cambia el valor de <session-timeout>20</session-timeout> en /opt/Bigdata/tomcat/webapps/cas/WEB-INF/web.xml. La unidad es un minuto.
- Cambie el valor de <session-timeout>20</session-timeout> en /opt/Bigdata/tomcat/webapps/web/WEB-INF/web.xml. La unidad es un minuto.
- Cambie el período de validez de TGT del CAS en todos los nodos de Master.
Cambie 1200 de p:maxTimeToLiveInSeconds="${tgt.maxTimeToLiveInSeconds:1200} y p:timeToKillInSeconds="${tgt.timeToKillInSeconds:1200}" de /opt/Bigdata/tomcat/webapps/cas/WEB-INF/spring-configuration/ticketExpirationPolicies.xml al intervalo de tiempo de espera correspondiente, en segundos.
- Reinicie el servicio Tomcat en el nodo de Master activo.
- En el nodo de Master activo, ejecute el comando netstat -anp |grep 28443 |grep LISTEN como usuario omm para consultar el ID de proceso de Tomcat.
- Ejecute el comando kill -9 {pid}, en el que {pid} indica el ID de proceso obtenido en el paso anterior.
- Espere a que el proceso se reinicie automáticamente. Puede ejecutar el comando netstat -anp |grep 28443 |grep LISTEN para comprobar si se ha iniciado el proceso. Si se muestra la salida del comando, el proceso se inicia correctamente.
- Agregar o modificar elementos de configuración para cada componente. Los valores de los elementos de configuración son los mismos que el intervalo de tiempo de espera, en segundos.
- HDFS/MapReduce/Yarn: Agregue el elemento de configuración personalizado http.server.session.timeout.secs.
- Spark: Cambie el valor de spark.session.maxAge.
- Hive: Agregue el elemento de configuración personalizado http.server.session.timeout.secs.
Al guardar los elementos de configuración, puede elegir no reiniciar los servicios o instancias afectados. Reinicie los servicios o instancias cuando el servicio no esté ocupado.
- Cambie el intervalo de tiempo de espera de sesión de los servicios web y CAS en todos los nodos de Master.
