Escenario
Las empresas suelen almacenar datos masivos, como de varias bases de datos y almacenes, para la gestión y la recopilación de información. Sin embargo, las fuentes de datos diversificadas, las estructuras de conjuntos de datos híbridos y el almacenamiento de datos dispersos reducen la eficiencia de las consultas.
El Spark de código abierto solo admite un simple pushdown de filtro durante la consulta de datos de múltiples fuentes. El rendimiento del motor SQL se deteriora debido a una gran cantidad de transmisión de datos innecesaria. La función pushdown se mejora, de modo que aggregate, projection complejo, ypredicate complejo se pueden enviar a las fuentes de datos, reduciendo la transmisión de datos innecesaria y mejorando el rendimiento de la consulta.
Solo el origen de datos JDBC admite operaciones de consulta, como aggregate, projection, predicate, aggregate over inner join y aggregate over union all. Todas las operaciones de pushdown se pueden habilitar en función de sus necesidades.
Tabla 1 Consulta mejorada de consulta entre fuentes
|
Módulo |
Antes de la mejora |
Después de la mejora |
|
aggregate |
El pushdown de aggregate no es compatible. |
- Se admite el cálculo de funciones de agregación. Ejemplo: select avg(a) + max(b) from table
- Se soporta el pushdown de algunas funciones.
Se admite la reducción de líneas en matemáticas, tiempo y funciones de cadena, como abs(), month() y length(). Además de las funciones integradas anteriores, puede ejecutar el comando SET para agregar funciones compatibles con los orígenes de datos.
Ejemplo: select sum(abs(a)) from table
|
|
projection |
Solo se soporta el pushdown de projection simple. Ejemplo: select a, b from table |
- Las expresiones complejas pueden ser presionadas hacia abajo.
Ejemplo: select (a+b)*c from table
- Algunas funciones pueden ser presionadas hacia abajo. Para obtener más información, consulte la descripción que se encuentra debajo de la tabla.
Ejemplo: select length(a)+abs(b) from table
- Se admite pushdown de limit y order by después de projection.
Ejemplo: select a, b+c from table order by a limit 3
|
|
predicate |
Solo se admite el filtrado simple con el nombre de columna a la izquierda del operador y los valores a la derecha. Ejemplo:
seleccione * de la tabla donde a>0 o b en ("aaa", "bbb") |
- Se admite el pushdown de expresiones complejas.
Ejemplo: select * from table where a+b>c*d or a/c in (1, 2, 3)
- Algunas funciones pueden ser presionadas hacia abajo. Para obtener más información, consulte la descripción que se encuentra debajo de la tabla.
Ejemplo: select * from table where length(a)>5
|
|
aggregate over inner join |
Los datos relacionados de las dos tablas deben cargarse en Spark. La operación de join debe realizarse antes de la operación aggregate. |
Se soportan las siguientes funciones:
- Funciones de agregación que incluyen sum, avg, max, min y count son compatibles.
- Todas las operaciones de aggregate se pueden realizar en una misma tabla. Las operaciones de group by se pueden realizar en una o dos tablas y solo se admite el inner join.
No se admiten los siguientes escenarios:
- aggregate no se puede empujar hacia abajo desde las tablas de join izquierda y derecha.
- aggregate contiene operaciones, por ejemplo, sum (a+b).
- Operaciones de aggregate, por ejemplo, sum(a)+min(b).
|
|
aggregate over union all |
Los datos relacionados de las dos tablas deben cargarse en Spark. union debe realizarse antes de aggregate. |
Escenarios admitidos:
Funciones de agregación que incluyen sum, avg, max, min y count son compatibles.
Escenarios no admitidos:
- aggregate contiene operaciones, por ejemplo, sum (a+b).
- Operaciones de aggregate, por ejemplo, sum(a)+min(b).
|
Precauciones
- Si el origen de datos externo es Hive, la operación de consulta no se puede realizar en tablas externas creadas por Spark.
- Solo se admiten las fuentes de datos MySQL y MPPDB.
