DQM-SG – Data Quality Manager para SigGas
Datos manejados por SigGas
Aspectos principales
- Ciclo de correcciones
- Datos manejados por
SigGas - Tpos de validación
- Reglas predefinidas
La información geográfica y alfanumérica manejada por SigGas debe contar con un alto nivel de calidad, para generar los resultados esperados por la empresa y mucho más en este momento que se espera que dicha información sea manejada en un nuevo sistema (Utility Network), el cual posee unas condiciones de calidad mucho más estrictas y desde donde los procesos de corrección son mucho más complejos.
Es muy eficiente detectar las inconsistencias y corregirlas en la fuente (SigGas) en vez de esperar los reportes de Utility Network, para evitar los largos ciclos de devolución y corrección de inconsistencias que pueden llevar a atrasos importantes en un proyecto.
Ciclo de Corrección de inconsistencias
Datos manejados por SigGas
Para facilitar la localización de cada regla, estas se han agrupado de acuerdo a los siguientes tipos:
CTGB Cartografía Base
RED Redes
SEGM Segmentos
CTGR Cartografía de Rutas
PRED Predios
BD Base de datos
Tipos de validación
Se han definido los siguientes tipos de validaciones que pueden aplicar a diferentes reglas.
ATTR Atributos alfanuméricos
GEOM Geometría
TAG Campo identificador TAG
GASP Interfaz con Gasplus
CNCT Conectividad de red
Agrupaciones
DEPTO Departamento
LOCAL Localidad
SIGAC Sector IGAC
SOPER Sector Operativo
CICLO Ciclo Facturación
BARRIO Barrio
STDANE Sector DANE
SCDANE Sección DANE
MANZA Manzana
TUB Tuberías
ACCES Accesorios
RUTA Lineas de Ruta
SEGM Segmentos
Software DQM para SigGas
Aspectos principales
- Descripción
- Reglas
disponibles - Selección de la
regla - Activación /
Desactivación - Uso de regla
precedente - Ejecución de la
regla
Descripción
DQM SG es el software de validación de calidad de datos definido con las reglas de validación resultantes de años de conocimiento y trabajo real con las gaseras que hace uso de SigGas.
DQM SG cuenta actualmente con 174 reglas definidas, resultado de años de experiencia en el manejo de SigGas y la información que este sistema maneja.
Reglas disponibles
CTGB 71 reglas
RED 30 reglas
SEGM 17 reglas
CTGR 6 reglas
PRED 22 reglas
BD 28 reglas
Selección de la regla
Se cuenta con funcionalidad para que el usuario seleccione una por una las reglas que quiere aplicar a un conjunto de datos por grupo, tipo o subtipo.
Activación / desactivación
Cada regla es desplegada y desde la interfaz el usuario podrá desactivar alguna definida o activar una desactivada.
Uso de regla precedente
El valor del atributo de regla precedente puede ser activado o desactivado para garantizar que una regla solo pueda ser usada luego del cumplimiento total de una regla precedente.
Ejecución de la regla
Una vez el usuario ha seleccionado una o varias reglas, estas serán ejecutadas por medio del botón correspondiente. Las reglas serán ejecutadas en el orden de su codificación y si alguna regla posee una regla precedente que no ha sido ejecutada o que presenta registros inválidos, se generará el aviso correspondiente y la regla no será ejecutada.
En la visualización de cada regla se mostrarán para cada una la cantidad de registros inconsistentes pendientes de solucionar.
El resultado de la ejecución será un archivo Excel con la lista de registros que no cumplieron con la condición de la regla.
Consulta de resultados de calidad
Aspectos principales
- Búsqueda de resultados
- Excel de inconsistencias
- Visualización estadística
Búsqueda de resultados
Se cuenta con la interfaz necesaria para consultar los resultados de la ejecución de cada regla (Archivos Excel).
Se debe indicar el tipo de regla, el subtipo y/o la agrupación que se quiere consultar.
Se pueden visualizar todos los resultados o solo de aquellas reglas que todavia tengan registros inconsistentes.
Se mostrarán los registros resultantes con el código de la regla, su descripción y la cantidad de registros inconsistentes.
Los archivos Excel son almacenados en una carpeta definida al momento de la implantación del sistema. De ahí podrá ser usada por el usuario que coordine el proceso de corrección.
Excel de inconsistencias
El archivo Excel resultado de cada regla puede ser usado para ubicar cada elemento inconsistente en la base de datos de SigGas y realizar la corrección necesaria.
Por ejemplo, el resultado de la regla 502.
Visualización estadística
Adicional al archivo Excel resultante de la aplicación de cada regla (inconsistencias), el sistema puede generar un gráfico estadístico de los registros inconsistentes y un gráfico estadístico total de resumen, que permitirá visualizar el estado real de la información de la red, para ir viendo su evolución durante el proceso de correcciones.
Aspectos principales
- Correciones manuales
- Correciones automáticas
- Correciones complejas
Correcciones manuales
El resultado del reporte de incumplimientos es un archivo Excel con la lista de los registros que no pasan la regla de validación. Este archivo cuenta con el identificador del elemento y es la base para que el usuario pueda hacer uso del archivo para recorrerlo uno por uno y busque el elemento en su ambiente gráfico y realice la corrección necesaria.
Correcciones automáticas
Algunas inconsistencias son susceptibles de ser corregidas por medio de una sentencia UPDATE sencilla. Si la regla posee el valor UPD en el campo ACCION, el software generará las sentencias UPDATE adecuadas para las correcciones y estas podrán ejecutarse en el manejador de base de datos disponible.
Esto aplica para asignación automática de atributos por medio de superposición espacial.
Correcciones complejas (aprendizaje profundo)
Cuando la inconsistencia de un atributo no puede ser corregida de forma automática con una sentencia UPDATE, el usuario debe realizar la corrección manual.
En algunos casos, se puede lograr una corrección automática por medio de un análisis profundo de la situación y aplicar algún algoritmo “inteligente” que pueda simular el criterio de un profesional de información.
El algoritmo adecuado se puede incluir como un procedimiento almacenado en la base de datos que se invoque cuando esta situación se presente.
El nombre del algoritmo se incluirá en un atributo operativo en la definición de cada regla cuando esto sea posible de definir.
Cuando se detecte inconsistencias a una regla con algoritmo asociado, este será aplicado para lograr la corrección de la mayor cantidad de registros.
En cualquier momento se puede invocar nuevamente la revisión de calidad y obtener nuevos resultados, con el fin de obtener información real del avance del proceso de corrección.
