Paso 2: Prueba del rendimiento del sistema de la tabla inicial y establecimiento de una línea base
Antes y después de ajustar las estructuras de las tablas, pruebe y registre la siguiente información para comparar las diferencias en el rendimiento del sistema:
- Tiempo de carga
- Espacio de almacenamiento ocupado por las tablas
- Rendimiento de consulta
Los ejemplos de esta práctica se basan en un clúster dws.d2.xlarge que consta de ocho nodos. Debido a que el rendimiento del sistema se ve afectado por muchos factores, los clústeres de la misma variante pueden tener resultados diferentes.
| Modelo | dws.d2.xlarge VM |
|---|---|
| CPU | 4*CPU E5-2680 v2 @ 2.80GHZ |
| Memoria | 32 GB |
| Red | 1 GB |
| Disco | 1.63 TB |
| Cantidad de nodos | 8 |
Registre los resultados utilizando la siguiente tabla de referencia.
| Referencia | Antes | Después |
|---|---|---|
| Tiempo de carga (11 tablas) | 341584 ms | - |
| Espacio de almacenamiento ocupado | ||
| Store_Sales | - | - |
| Date_Dim | - | - |
| Store | - | - |
| Item | - | - |
| Time_Dim | - | - |
| Promotion | - | - |
| Customer_Demographics | - | - |
| Customer_Address | - | - |
| Household_Demographics | - | - |
| Customer | - | - |
| Income_Band | - | - |
| Espacio de almacenamiento total | - | - |
| Tiempo de ejecución de consultas | ||
| Consulta 1 | - | - |
| Consulta 2 | - | - |
| Consulta 3 | - | - |
| Tiempo total de ejecución | - | - |
Realice los siguientes pasos para probar el rendimiento del sistema antes de realizar el ajuste para establecer un punto de referencia:
- Ingrese el tiempo de carga acumulado para las 11 tablas en la tabla de puntos de referencia en la columna Antes.
- Registre el uso del espacio de almacenamiento de cada tabla.
Determine cuánto espacio en disco se utiliza para cada tabla mediante la función pg_size_pretty y registre los resultados en las tablas base.
1SELECT T_NAME, PG_SIZE_PRETTY(PG_RELATION_SIZE(t_name)) FROM (VALUES('store_sales'),('date_dim'),('store'),('item'),('time_dim'),('promotion'),('customer_demographics'),('customer_address'),('household_demographics'),('customer'),('income_band')) AS names1(t_name);
La siguiente información aparecerá en la pantalla:
1 2 3 4 5 6 7 8 9 10 11 12 13 14
t_name | pg_size_pretty ------------------------+---------------- store_sales | 42 GB date_dim | 11 MB store | 232 kB item | 110 MB time_dim | 11 MB promotion | 256 kB customer_demographics | 171 MB customer_address | 170 MB household_demographics | 504 kB customer | 441 MB income_band | 88 kB (11 rows)
- Pruebe el rendimiento de las consultas.
Ejecute las siguientes consultas y registre el tiempo empleado en cada consulta. Las duraciones de ejecución de la misma consulta pueden ser diferentes, dependiendo de la caché del sistema operativo durante la ejecución. Se recomienda realizar varias rondas de pruebas y seleccionar un grupo con valores promedio.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54
\timing on SELECT * FROM (SELECT COUNT(*) FROM store_sales ,household_demographics ,time_dim, store WHERE ss_sold_time_sk = time_dim.t_time_sk AND ss_hdemo_sk = household_demographics.hd_demo_sk AND ss_store_sk = s_store_sk AND time_dim.t_hour = 8 AND time_dim.t_minute >= 30 AND household_demographics.hd_dep_count = 5 AND store.s_store_name = 'ese' ORDER BY COUNT(*) ) LIMIT 100; SELECT * FROM (SELECT i_brand_id brand_id, i_brand brand, i_manufact_id, i_manufact, SUM(ss_ext_sales_price) ext_price FROM date_dim, store_sales, item,customer,customer_address,store WHERE d_date_sk = ss_sold_date_sk AND ss_item_sk = i_item_sk AND i_manager_id=8 AND d_moy=11 AND d_year=1999 AND ss_customer_sk = c_customer_sk AND c_current_addr_sk = ca_address_sk AND substr(ca_zip,1,5) <> substr(s_zip,1,5) AND ss_store_sk = s_store_sk GROUP BY i_brand ,i_brand_id ,i_manufact_id ,i_manufact ORDER BY ext_price desc ,i_brand ,i_brand_id ,i_manufact_id ,i_manufact ) LIMIT 100; SELECT * FROM (SELECT s_store_name, s_store_id, SUM(CASE WHEN (d_day_name='Sunday') THEN ss_sales_price ELSE null END) sun_sales, SUM(CASE WHEN (d_day_name='Monday') THEN ss_sales_price ELSE null END) mon_sales, SUM(CASE WHEN (d_day_name='Tuesday') THEN ss_sales_price ELSE null END) tue_sales, SUM(CASE WHEN (d_day_name='Wednesday') THEN ss_sales_price ELSE null END) wed_sales, SUM(CASE WHEN (d_day_name='Thursday') THEN ss_sales_price ELSE null END) thu_sales, SUM(CASE WHEN (d_day_name='Friday') THEN ss_sales_price ELSE null END) fri_sales, SUM(CASE WHEN (d_day_name='Saturday') THEN ss_sales_price ELSE null END) sat_sales FROM date_dim, store_sales, store WHERE d_date_sk = ss_sold_date_sk AND s_store_sk = ss_store_sk AND s_gmt_offset = -5 AND d_year = 2000 GROUP BY s_store_name, s_store_id ORDER BY s_store_name, s_store_id,sun_sales,mon_sales,tue_sales,wed_sales,thu_sales,fri_sales,sat_sales ) LIMIT 100;
Una vez recopiladas las estadísticas anteriores, la tabla de referencia es la siguiente:
| Referencia | Antes | Después |
|---|---|---|
| Tiempo de carga (11 tablas) | 341584 ms | - |
| Espacio de almacenamiento ocupado | ||
| Store_Sales | 42 GB | - |
| Date_Dim | 11 MB | - |
| Store | 232 KB | - |
| Item | 110 MB | - |
| Time_Dim | 11 MB | - |
| Promotion | 256 KB | - |
| Customer_Demographics | 171 MB | - |
| Customer_Address | 170 MB | - |
| Household_Demographics | 504 KB | - |
| Customer | 441 MB | - |
| Income_Band | 88 KB | - |
| Espacio de almacenamiento total | 42 GB | - |
| Tiempo de ejecución de consultas | ||
| Consulta 1 | 14552.05 ms | - |
| Consulta 2 | 27952.36 ms | - |
| Consulta 3 | 17721.15 ms | - |
| Tiempo total de ejecución | 60225.56 ms | - |