Detección en tiempo real de sesgo de almacenamiento durante la importación de datos
Durante la importación, el sistema recopila estadísticas sobre la cantidad de filas importadas en cada DN. Una vez completada la importación, el sistema calcula la tasa de sesgo. Si la tasa de sesgo supera el umbral especificado, se genera una alarma de inmediato. La tasa de sesgo se calcula de la siguiente manera: Tasa de sesgo = (Cantidad máxima de filas importadas en un DN – Cantidad mínima de filas importadas en un DN)/Cantidad de filas importadas. Actualmente, los datos solo se pueden importar ejecutando INSERT o COPY.
enable_stream_operator debe establecerse en on para que los DN puedan devolver la cantidad de filas importadas a la vez cuando se les entrega un plan. A continuación, la tasa de sesgo se calcula en el CN en función de los valores devueltos.
Uso
- Establezca los parámetros table_skewness_warning_threshold (umbral para activar una alarma de sesgo de tabla) y table_skewness_warning_rows (cantidad mínima de filas para activar una alarma de sesgo de tabla).
- El valor de table_skewness_warning_threshold oscila entre 0 y 1. El valor predeterminado es 1, lo que indica que la alarma está deshabilitada. Otros valores indican que la alarma está habilitada.
- El valor de table_skewness_warning_rows oscila entre 0 y 2147483647. El valor predeterminado es 100,000. La alarma se activa solo cuando se cumple la siguiente condición: Cantidad total de filas importadas > Valor de table_skewness_warning_rows x Cantidad de DN involucrados en la importación.
1 2 3 4
show table_skewness_warning_threshold; set table_skewness_warning_threshold = xxx; show table_skewness_warning_rows; set table_skewness_warning_rows = xxx;
- Utilice INSERT o COPY para importar datos.
- Detecte y gestione alarmas. La información de la alarma incluye el nombre de la tabla, la cantidad mínima de filas, la cantidad máxima de filas, la cantidad total de filas, la cantidad promedio de filas, la tasa de sesgo y la información de aviso sobre la distribución de datos o la modificación de parámetros.
WARNING: Skewness occurs, table name: xxx, min value: xxx, max value: xxx, sum value: xxx, avg value: xxx, skew ratio: xxx HINT: Please check data distribution or modify warning threshold
