DQM –Data Quality Manager
Datos manejados por un SIG
La información geográfica manejada por un SIG es la base de todas sus funcionalidades y su buena calidad le permite generar los resultados esperados por una empresa de servicios públicos.
1. Tipos de datos
Los sistemas de información geográfica (SIG) por definición manejan información de tipo geográfico o espacial y en algunos casos pueden manejar información en tablas alfanuméricas relacionadas como complemento.
Datos geográficos
Esta información permite la representación gráfica del territorio y la conforman líneas, puntos y polígonos.
La información espacial debe cumplir unos criterios de contenencia que permitan asociar la información del territorio a elementos de mayor a menor dimensión (herencia espacial), para facilitar relaciones espaciales estadísticas.
Datos alfanuméricos
Algunos sistemas pueden complementar la información espacial con información alfanumérica asociada, para permitir el manejo independiente de esa información en caso de requerirse su uso con otro tipo de sistemas empresariales.
Normalmente la información alfanumérica se almacena en tablas de un manejador de base de datos, relacionadas con algún elemento de identificación existente en la información geográfica que complementa.
Validación
Tanto los datos geográficos como los alfanuméricos son susceptibles de ser validados para garantizar su coherencia e integridad y para validar su relación apropiada con otras capas y tablas de la empresa.
Reglas de validación
Aspectos Principales
Validación de calidad
Definición de una regla
Propiedades
Tipos de regla
Propiedades
Las reglas cuentan con unas propiedades que se asignan para facilitar su agrupación para efectos de manejo o gestión.
Tipo: Clasificación mayor de la regla
Subtipo: Sub clasificación de la regla
Grupo: Código asignado para lograr agrupaciones
Las tablas de tipos, subtipos y grupos se deben poblar para cada caso de implantación, de acuerdo a los datos que se quieran validar. Se cuenta con una interfaz para poblar dicha información, accesible solo por los profesionales implantadores del sistema.
Tipos de reglas
Las reglas se pueden clasificar de acuerdo al atributo Tipo y esta clasificación se define según el tema que se está evaluando. La tipología se define al momento de la implantación del producto y es particular para cada empresa usuaria.
Existe una tipología ya definida para cuando el producto se implanta para validar información de SigGas (ver folleto “BrochureDQM-SG”).
Validación de calidad
Dado que la calidad un sistema depende en gran medida de la calidad de la información manejada, se ha desarrollado un producto que permite ejecutar unos criterios de calidad (reglas) que deben cumplir los datos manejados, para garantizar la calidad y su uso por parte de las aplicaciones.
Definición de una regla
Una regla es un criterio de calidad que debe cumplir un tipo de dato en el sistema. El criterio de calidad debe ser cumplido por un conjunto de datos similares (capas, tablas) para poder ser definido como información factible de uso.
Un criterio de calidad o una regla de validación lo definimos como una sentencia SQL que al ser ejecutada sobre un conjunto de datos generarán como resultado una lista de registros que no cumplen el criterio aplicado. Con este resultado el usuario puede proceder a su corrección para garantizar su uso por el SIG o cualquier otro sistema relacionado.
Gestión de reglas de validación – DQM
Aspectos Principales
Descripción
Creacion edicion de reglas
Ventajas y mejoras clave
Descripción
DQM es el producto de software que permite la creación y edición de reglas de validación sobre diferentes tipos de datos.
La aplicación permite la definición de sus atributos básicos, su estructura de validación y la definición de las sentencias que permiten correcciones menores de manera automática.
Una vez se han definido los atributos básicos y se han definido las reglas, se inicia el proceso de implantación para que el producto quede personalizado para la base de datos que se quiere evaluar.
Creación y edición de reglas
Una regla de validación posee los siguientes atributos básicos que se deben asignar a la creación.
Validación de calidad
Grupo: Grupo asignado para clasificación
Tipo: Tipo de dato asignado de la tabla específica
Subtipo: Subtipo asignado de la tabla específica, relacionado con el tipo definido
Atributos Operativos
Código: Valor numérico único asignado a la regla
Descripción: Relato textual del tipo de validación que realiza la regla
Sentencia SQL: Sentencia SQL definida para ser aplicada sobre la base de datos.
Fuente: Tipo de base de datos donde aplicar la regla (Oracle / Sqlite)
Acción: Resultado de la regla (Selección / Actualización)
Solución: Relato textual de la recomendación de solución.
Las reglas quedan almacenadas en una estructura de datos en la instalación del cliente en su manejador de base de datos (Oracle).
Las reglas son creadas por el profesional de implantación y son definidas de acuerdo a las necesidades de la empresa de servicios.
Caracteristicas avanzadas
Aspectos Principales
Precedencias sentencias de actualización directa.
Aplicación de procedimientos almacenados
Activación / Desactivación
Correcciones complejas
Precedencias
En algunos casos, no es suficiente cumplir la validación de una regla para considerar un buen conjunto de datos. Algunas reglas pueden requerir el cumplimiento (0 errores) de una regla precedente antes de poder ser ejecutada. Un código de regla en este campo indicará esa necesidad.
Activación / Desactivación
Cualquier regla podrá ser activada (disponible) o desactivada para el control de errores.
Sentencias de correción automatica
En casos específicos, los errores de atributo detectados por una regla de validación pueden ser corregido de forma automática por medio de una sentencia SQL de actualización. En estos casos se incluirá la sentencia SQL como parte de atributos de la regla.
Aplicación de procedimientos
En casos específicos, los errores de atributo detectados por una regla de validación pueden ser corregidos de forma automática por medio de una sentencia SQL de actualización. En estos casos se incluirá la sentencia SQL como parte de atributos de la regla.
Correcciones complejas
Existen inconsistencias de atributos que no pueden ser corregidas de forma sencilla y automática por la aplicación, ya que requieren de intervención de un operador que aplique un criterio para diferentes posibilidades.
Se puede incluir, como parte de cada regla, el nombre de un procedimiento almacenado, que analice el tipo de error detectado y aplique un criterio de corrección complejo que involucre un análisis detallado y seleccione la mejor opción de corrección, tomando la mejor decisión que se encuentre, de acuerdo a opciones previamente analizadas y validada por un profesional conocedor de la información..
Monitoreo automático de calidad
N8N
El producto N8N es una potente herramienta de automatización de flujos de trabajo (workflow automation). Permite conectar diferentes aplicaciones, bases de datos, APIs y servicios en la nube para que se comuniquen entre sí automáticamente y realicen tareas sin que se tenga que programar cada integración desde cero
El N8N puede correr localmente, lo que significa que los datos sensibles de la empresa o de sus clientes nunca salen de sus servidores.
Automatización de análisis calidad por medio de N8N
La ejecución de las reglas de calidad de datos es una herramienta invaluable para apoyar el proceso de correcciones y mantenimiento de la calidad esperada. Sin embargo, esta calidad está sujeta a la ejecución de procesos manuales o automatizados sobre la información.
Aunque toda la información es de importancia para la operación de la empresa, existe información de tipo sensible, la cual es usada en procesos críticos, la cual debe contar siempre con un altísimo nivel de calidad.
Para garantizar ese nivel de calidad se debería aplicar constantemente la regla de validación respectiva. Este proceso implica aun profesional dedicado a esta labor.
Aspectos principales
- N8N
- Automatización de calidad
Hemos desarrollado un flujo de proceso (externo a DQM) basado en N8N, el cual permite definir una o mas reglas que se deben ejecutar de forma automática sobre su conjunto de datos, y basados en los resultados, tomar acciones que permitan conocer siempre el estado de dicha información.
La periodicidad de la aplicación de las reglas es configurada por el usuario de acuerdo con la criticidad de la información analizada y los resultados del análisis pueden incluir:
- Alerta de mala calidad de datos por correo electrónico.
- Alerta de mala calidad de datos por Whatsapp.
- Alerta de demoras en generación de correcciones.
- Generación de historia de evolución de correcciones
- Gráficos estadísticos de avance.
- Aplicación automática de correcciones de atributos.
