Descripción del parche MRS 1.9.0.8, 1.9.0.9 y 1.9.0.10
Información básica:
|
Problemas resueltos |
Número de parche: MRS 1.9.0.10 Fecha de lanzamiento: 17 de enero de 2023 Problemas resueltos Componentes de big data de MRS OBSA soporta reintentos de control de flujo. |
|---|---|
|
Número de parche: MRS 1.9.0.9 Fecha de lanzamiento: 10 de agosto de 2022 Problemas resueltos Componentes de big data de MRS Optimización superior del algoritmo de programación |
|
|
Número de parche MRS 1.9.0.8 Fecha de lanzamiento: 20 de febrero de 2021 Problemas resueltos Componentes de big data de MRS Agregado el monitoreo en la excepción que se produce cuando se invoca a la API de ECS getSecuritykey. Optimizado el proceso temporal de AK/SK. Resuelto el problema de la pérdida de memoria de ResourceManager. |
|
|
Lista de problemas resueltos en MRS 1.9.0.7: MRS Manager Resuelto el problema de pérdida de información de cola debido a la actualización de cola durante la expansión de la capacidad. Componentes de big data de MRS Resuelto el problema de que la tarea Hive on Spark estaba suspendida porque el block ID se mostraba con caracteres confusos. Resuelva el problema de que la tarea Hadoop no se ejecuta debido a espacio insuficiente. Las API autodesarrolladas se agregan a Hive. Resuelto el problema de que el archivo map.xml no se podía leer. Resuelto el problema de que Yarn no estaba disponible debido a los datos sucios de ZooKeeper. Resuelto el problema de la pérdida de memoria de ResourceManager. Optimizada la función Hive Har. Actualizados los paquetes de OBS. Actualizado la versión de JDK. |
|
|
Lista de problemas resueltos en MRS 1.9.0.6: MRS Manager MRS Manager admite el escalamiento vertical de nodos especificados en un clúster anual/mensual. Componentes de big data de MRS Resuelto el problema de la respuesta lenta cuando HiveSE entrega sentencias SQL. Compatible con la interfaz de información de error de consulta de JobHistory. Resuelto el problema de que los permisos de grano fino no surtían efecto. Resuelta la excepción que se produce cuando Hive on Spark lee datos. Resuelto el problema de que el volumen de datos aumenta cuando la tarea Hive en la señora se ejecuta dos veces. Resuelto el problema de que el rendimiento de algunas cadenas es deficiente cuando la consulta vectorizada basada en vectores está habilitada en Hive. |
|
|
Lista de problemas resueltos en MRS 1.9.0.5: MRS Manager Optimizado el proceso de reinicio del servicio durante el ahorro de configuración en MRS Manager. Rectificada la falla periódica de la copia de respaldo en MRS Manager. Componentes de big data de MRS Parche privado de Ranger Resuelto el problema JVM Create GC thread failed de Yarn. Agregada la alarma de apilamiento de tareas de HiveServer2. Agregada la alarma que indica que el tiempo de GC de HiveServer HiveMetastore supera los 5s. Agregada la alarma que indica que HiveServer2 descomenta ZooKeeper. Agregada la alarma que indica que las tareas Yarn han fallado y el número de tareas eliminadas es superior a 5 en 20 minutos. Corregida la zona horaria de Spark JobHistory. Optimizado el mecanismo de reinicio de MetaStore. Resuelto el problema de código abierto HIVE-22771. Resueltos los errores de impresión del registro beeline de Hive. Corregido el número de nodos activos mostrados en la página de Yarn. Resuelta la lentitud de respuesta de la página RM, causada por un gran número de subprocesos de RM. Monitoreo de OBS soportado. Actualizados los paquetes de OBS. Resuelto el problema de que algunos datos no se insertan cuando 10 registros de datos se insertan simultáneamente en hive-jdbc. Resuelto el problema de que Hive informa ocasionalmente de una falla de deserialización de Kryo. Resuelto el problema de fuga de memoria de Spark JobHistory. Resuelto el problema por el que la lista de aplicaciones no se puede mostrar ocasionalmente en Spark JobHistory. |
|
|
Lista de problemas resueltos en MRS 1.9.0.3: MRS Manager Actualizado ARM JDK en MRS Manager. Resuelto el problema de que el disco del sistema está totalmente ocupado por registros del nodo Core en MRS Manager. Componentes de big data de MRS Resuelto el problema de que no se puede establecer la versión de registros de Ranger, lo que puede causar la ocupación total del disco. |
|
|
Lista de problemas resueltos en MRS 1.9.0.2: MRS Manager Resuelta la pérdida de confianza mutua entre algunos nodos Core en el clúster. Resuelto el problema de que las instancias no se podían agregar después de instalar el parche. Resuelto el problema de que el intervalo de tiempo de espera de reinicio continuo de HiveServer no se podía modificar en MRS Manager. Componentes de big data de MRS Actualizados los paquetes de OBS. |
|
|
Lista de problemas resueltos en MRS 1.9.0.1: MRS Manager Resuelto el problema de que MRS Manager no admite la instalación de parches continuos sin reiniciar los servicios. Componentes de big data de MRS Resuelto el problema de que la frecuencia de acceso confiada a la OBS no se limita a 140 veces en 5 minutos. Resuelto el problema de que Kafka no admite el acceso de código abierto. Resuelto el problema de código abierto SPARK-27637. Optimizado el reinicio continuo de Hive. Actualizados los paquetes de OBS. |
|
|
Compatibilidad con otros parches |
El parche MRS 1.9.0.10 puede resolver todos los problemas que se han resuelto con el parche MRS 1.9.0. |
Impacto de la instalación de parches
- Durante la instalación del parche MRS 1.9.0.10, MRS Manager se reiniciará y los componentes como Hadoop, Hive, Spark, Presto y los servicios dependientes relacionados se reiniciarán en modo rodante. Durante el reinicio de MRS Manager, los servicios no están disponibles temporalmente y los servicios no se interrumpen durante el reinicio continuo.
- Después de instalar el parche MRS 1.9.0.10, debe descargar e instalar de nuevo todos los clientes, incluidos los clientes originales de los nodos de Master y los clientes utilizados por otros nodos de VPC (es decir, los clientes que ha configurado).
- Para obtener más información acerca de cómo actualizar completamente el cliente original del nodo maestro activo, consulte Actualización completa del cliente original del nodo de Master activo.
- Para obtener más información acerca de cómo actualizar completamente el cliente original del nodo maestro en espera, consulte Actualización completa del cliente original del nodo de Master en espera.
- Para obtener más información acerca de cómo instalar completamente los clientes que configuró, consulte Instalación de un cliente (Versiones anteriores a 3.x).
- Se le aconseja hacer una copia de respaldo de los clientes antiguos antes de volver a instalar los nuevos.
- Si ha modificado las configuraciones de cliente según el escenario del servicio, vuelva a modificarlas después de reinstalar los clientes.
- (Opcional) En el escenario donde se obtiene un AK/SK temporal usando una delegación para acceder a OBS, configure el parámetro fs.obs.auth.node-cache-short-circuit.enable para determinar si permitir el acceso a la API de metadatos de ECS, determinando de este modo si desencadenar el control de flujo de ECS.
El clúster MRS puede acceder a OBS utilizando un AK/SK temporal obtenido por una delegación. El AK/SK temporal se obtiene usando la API de metadatos de ECS. La API de metadatos ECS tiene un umbral de control de flujo de 140 veces en 5 minutos para un solo nodo. Después de activar el control de flujo, el nodo se agrega a la lista negra y no puede volver a invocar a la API de metadatos en 30 minutos. Para evitar el control de flujo, MRS proporciona el meta del servicio de caché de procesos cruzados a nivel de nodo para almacenar en caché AK/SK temporal.
Escenario de aplicación: trabajos de Yarn como Spark y Hadoop que acceden a OBS mediante un AK/SK temporal obtenido por una delegación. Este parámetro se configura en el archivo core-site.xml del cliente.
El valor predeterminado es true. El proceso de aplicación Yarn en el clúster MRS obtiene el AK/SK temporal del meta del servicio de caché a nivel de nodo. Si la meta es anormal, obtenga el AK/SK temporal de la API de metadatos de ECS.
Si no desea acceder directamente a la API de metadatos de ECS cuando la meta es anormal, establezca este parámetro en false para evitar que el nodo se agregue a la lista negra debido al control de flujo.
