Detection method in outliers of spectrometry UV-Visible databases: preliminary phase for calibration models applied to regressive real-time monitoring of water quality
Andrés Torres
Abstract:
Estimate reliably and through technologies in situ the time evolution of quality parameters allow monitor the status of the proceedings of a Waste Water Treatment Plant (WWTP), promoting the understanding and control over them, especially in the detection of disturbances. However, these technologies have problems related to proper operation and maintenance, which reduce the potential for its application. Then the presence of outliers in longitudinal series is an important phase in the data analysis, as a preliminary to calibrate regression models. Therefore, this article presents a method for detecting outliers, whose application is expanding not only the particular case of the spectrometry UV-Visible data of influent and effluent of the WWTP-San Fernando in Colombia if not to different databases number. To validate the results for detection of outliers, were formed subsets of calibration and validation without outliers data, which evaluated the fit between the estimated concentrations using regression models of partial least squares (PLS) and laboratory data, finding improvements in the predictability of the influent and effluent concentrations using absorbance spectra.
In Spanish:
Estimar de forma fiable y a través de tecnologías in situ la evolución temporal de diferentes parámetros de calidad permite monitorear el estado de los procesos de una Planta de Tratamiento de Aguas Residuales (PTAR), favoreciendo la comprensión y el control sobre éstos, especialmente en la detección de perturbaciones. No obstante, dichas tecnologías tienen problemas ligados a su correcta operación y mantenimiento, los cuales reducen el potencial de su aplicación. Luego, detectar la presencia de outliers en las series longitudinales es una fase importante en el análisis de datos, como fase preliminar para la calibración de modelos regresivos. Por lo tanto, este artículo presenta un método de detección de outliers, cuya aplicación se expande no solamente al caso particular de los datos de espectrometría UV-Visible del afluente y efluente de la PTAR-San Fernando en Colombia, sino a diferentes bases de datos numéricas. Para validar los resultados del método de detección de outliers, se conformaron subconjuntos de datos de calibración y validación sin outliers, donde se evaluó el ajuste entre las concentraciones estimadas por medio de modelos regresivos de mínimos cuadrados parciales (PLS) y datos de laboratorio, encontrando mejoras en la predictibilidad de las concentraciones del afluente y efluente por medio de los espectros de absorbancia.