Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Mostrar todo

Centro de ayuda/ MapReduce Service/ Descripción general del servicio/ Componentes/ Spark2x/ Funciones de código abierto mejoradas de Spark2x/ Optimización de la consulta SQL de datos de múltiples fuentes

Optimización de la consulta SQL de datos de múltiples fuentes

Actualización más reciente 2023-04-14 GMT+08:00

Ver PDF

Escenario

Las empresas suelen almacenar datos masivos, como de varias bases de datos y almacenes, para la gestión y la recopilación de información. Sin embargo, las fuentes de datos diversificadas, las estructuras de conjuntos de datos híbridos y el almacenamiento de datos dispersos reducen la eficiencia de las consultas.

El Spark de código abierto solo admite un simple pushdown de filtro durante la consulta de datos de múltiples fuentes. El rendimiento del motor SQL se deteriora debido a una gran cantidad de transmisión de datos innecesaria. La función pushdown se mejora, de modo que aggregate, projection complejo, ypredicate complejo se pueden enviar a las fuentes de datos, reduciendo la transmisión de datos innecesaria y mejorando el rendimiento de la consulta.

Solo el origen de datos JDBC admite operaciones de consulta, como aggregate, projection, predicate, aggregate over inner join y aggregate over union all. Todas las operaciones de pushdown se pueden habilitar en función de sus necesidades.

**Tabla 1** Consulta mejorada de consulta entre fuentes
Módulo	Antes de la mejora	Después de la mejora
aggregate	El pushdown de aggregate no es compatible.	Funciones de agregación que incluyen sum, avg, max, min y count son compatibles. Ejemplo: select count() from table Se admiten expresiones internas de funciones de agregación. Ejemplo: select sum(a+b) from table Se admite el cálculo de funciones de agregación. Ejemplo: select avg(a) + max(b) from table Se admite pushdown de having. Ejemplo: select sum(a) from table where a>0 group by b having sum(a)>10 Se soporta el pushdown de algunas funciones. Se admite la reducción de líneas en matemáticas, tiempo y funciones de cadena, como abs(), month()* y length(). Además de las funciones integradas anteriores, puede ejecutar el comando SET para agregar funciones compatibles con los orígenes de datos. Ejemplo: select sum(abs(a)) from table Se admite pushdown de limit y order by después de aggregate. Sin embargo, Oracle no admite el pushdown, ya que Oracle no admite limit. Ejemplo: select sum(a) from table where a>0 group by b order by sum(a) limit 5
projection	Solo se soporta el pushdown de projection simple. Ejemplo: select a, b from table	Las expresiones complejas pueden ser presionadas hacia abajo. Ejemplo: select (a+b)c from table Algunas funciones pueden ser presionadas hacia abajo. Para obtener más información, consulte la descripción que se encuentra debajo de la tabla. Ejemplo: select length(a)+abs(b) from table Se admite pushdown de limit* y order by después de projection. Ejemplo: select a, b+c from table order by a limit 3
predicate	Solo se admite el filtrado simple con el nombre de columna a la izquierda del operador y los valores a la derecha. Ejemplo: seleccione * de la tabla donde a>0 o b en ("aaa", "bbb")	Se admite el pushdown de expresiones complejas. Ejemplo: select * from table where a+b>cd or a/c in (1, 2, 3) Algunas funciones pueden ser presionadas hacia abajo. Para obtener más información, consulte la descripción que se encuentra debajo de la tabla. Ejemplo: select from table where length(a)>5
aggregate over inner join	Los datos relacionados de las dos tablas deben cargarse en Spark. La operación de join debe realizarse antes de la operación aggregate.	Se soportan las siguientes funciones: Funciones de agregación que incluyen sum, avg, max, min y count son compatibles. Todas las operaciones de aggregate se pueden realizar en una misma tabla. Las operaciones de group by se pueden realizar en una o dos tablas y solo se admite el inner join. No se admiten los siguientes escenarios: aggregate no se puede empujar hacia abajo desde las tablas de join izquierda y derecha. aggregate contiene operaciones, por ejemplo, sum (a+b). Operaciones de aggregate, por ejemplo, sum(a)+min(b).
aggregate over union all	Los datos relacionados de las dos tablas deben cargarse en Spark. union debe realizarse antes de aggregate.	Escenarios admitidos: Funciones de agregación que incluyen sum, avg, max, min y count son compatibles. Escenarios no admitidos: aggregate contiene operaciones, por ejemplo, sum (a+b). Operaciones de aggregate, por ejemplo, sum(a)+min(b).

Precauciones

Si el origen de datos externo es Hive, la operación de consulta no se puede realizar en tablas externas creadas por Spark.
Solo se admiten las fuentes de datos MySQL y MPPDB.

Tema principal: Funciones de código abierto mejoradas de Spark2x

Tema anterior: Descripción de CarbonData

Tema siguiente: Storm

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar