Limpieza y preparación de datos para Process Mining

Process Mining eficaz requiere datos de calidad. La mayoría de las tareas de preparación se centran en unos pocos problemas recurrentes: eventos que nunca se registraron, identificadores que no coinciden entre sistemas, formatos incompatibles y extracciones demasiado grandes o sensibles para tratar sin precaución. En esta página se explican esos problemas y cómo resolverlos. Para realizar estas tareas en ProcessMind, consulte Configuración del conjunto de datos y Calidad de los datos.

¿Por qué es importante limpiar y preparar los datos?

Process Mining se basa en registros de eventos: conjuntos de datos que contienen la secuencia detallada de actividades de un proceso empresarial. Si esos datos están incompletos, son incoherentes o contienen errores, la información obtenida no será fiable. Los datos limpios y bien estructurados permiten que la herramienta represente los flujos de trabajo, detecte cuellos de botella y señale oportunidades de mejora.

Pasos clave para limpiar y preparar los datos

1. Recopile datos de todos los sistemas implicados

Los datos suelen proceder de varios sistemas: un ERP para pedidos y facturas, un CRM para las interacciones con clientes y una mesa de ayuda para los tickets. Recopile los datos de todos ellos antes de empezar a limpiarlos. Si omite un sistema, después no podrá recuperar los pasos que solo se registraron allí.

• Consolide las fuentes de datos: enumere los sistemas que registran parte del proceso y extraiga los datos de cada uno. Por ejemplo, un proceso de pedido a cobro puede abarcar un sistema de ventas (como Salesforce) y uno financiero (como SAP).
• Elimine los silos: acuerde con las personas responsables del proceso qué sistemas se deben incluir y quién puede exportar sus datos. La falta de datos suele deberse a que no se informó de un sistema, no a una consulta defectuosa. Las herramientas de integración (como Apache NiFi, Talend, Informatica o Power BI) pueden combinar varias fuentes en un solo archivo.
• Planifique cómo registrar lo que no puede extraer: si un paso ocurre fuera de los sistemas (por ejemplo, una aprobación telefónica o una firma en papel), registre al menos el resultado en un sistema digital o modele el paso para que la vista del proceso esté completa. Dónde obtener los datos explica cómo buscar datos en cada sistema.

2. Elimine los duplicados

Los registros duplicados distorsionan el análisis: aumentan el recuento de actividades y hacen que un evento parezca varios. Identifíquelos mediante el ID del caso, la actividad y la marca de tiempo; después, elimínelos o combínelos en una sola fila.

3. Gestione los datos ausentes

La falta de marcas de tiempo, actividades o ID de caso interrumpe la secuencia de eventos y genera modelos de proceso incompletos.

• Identifique los valores ausentes: busque marcas de tiempo en blanco, nombres de actividad vacíos e ID de caso nulos.
• Complete los datos que faltan: cuando sea posible, recurra a otras fuentes o al conocimiento del proceso. Si falta una marca de tiempo, las horas de los eventos cercanos pueden ayudar a estimarla.
• Modele los pasos en lugar de inventar datos: si un paso nunca se registró, añádalo mediante el modelado de procesos en vez de inventar marcas de tiempo. Así, el proceso descubierto y el documentado se complementan.
• Impute o elimine: para las lagunas importantes, aplique una técnica de imputación (por ejemplo, sustituir por la media o usar un modelo de regresión). Si no es posible recuperar un caso, elimínelo y anote el motivo.

4. Normalice formatos, ID y nombres

• Marcas de tiempo: utilice un solo formato en todo el archivo (por ejemplo, YYYY-MM-DD HH:MM:SS). Si los datos incluyen varias zonas horarias, conviértalos todos a UTC. Consulte la lista de formatos de fecha compatibles
• ID de caso: un mismo proceso puede tener identificadores distintos en cada sistema, como un número de pedido en el CRM y un número de factura en finanzas. Relaciónelos mediante un mapeo, en el archivo extraído o en una tabla de consulta, para que todos los eventos correspondan a un mismo caso. Asigne un ID único a cada instancia del proceso. En ProcessMind, compruebe que la columna del ID de caso tenga el mismo mapeo en todos los conjuntos de datos que combine. Consulte los atributos del conjunto de datos.
• Nombres de actividades: los sistemas pueden asignar nombres distintos a un mismo paso. Elija un solo nombre para cada paso (“Aprobar pedido” y “Aprobación del pedido” son la misma actividad).
• Valores y tipos: mantenga los números como números (costes, duraciones e importes) y utilice una sola unidad por columna.

5. Elimine los eventos irrelevantes

No todos los eventos registrados pertenecen al proceso que analiza. Los inicios de sesión, los reintentos técnicos y las tareas administrativas recargan el mapa sin aportar información útil.

• Excluya lo que no corresponda: use su conocimiento del proceso para decidir qué eventos lo describen y excluya los demás.
• Elija el nivel de detalle adecuado: los eventos demasiado generales («pedido gestionado») ocultan las variaciones que busca; los demasiado específicos llenan el mapa de detalles técnicos. Agrupe los eventos de bajo nivel en la actividad empresarial correspondiente y deje que las personas expertas en el proceso definan el límite.

6. Gestione los valores atípicos y el ruido

Los valores atípicos pueden dar una imagen inexacta del funcionamiento habitual del proceso. Una tarea que tardó mucho por un suceso excepcional puede distorsionar los promedios.

• Identifíquelos: marque las duraciones que se alejen mucho del intervalo habitual para ese paso.
• Decida si debe conservarlos: una excepción real, como un fallo poco frecuente pero crítico, puede aportar información valiosa; un error en los datos, no. Elimine solo lo que sea incorrecto, no lo que resulte incómodo.

7. Compruebe el orden de los eventos

Si los eventos están desordenados, la herramienta reconstruirá un flujo incorrecto.

• Valide la secuencia: los eventos de cada caso deben seguir el orden de las marcas de tiempo. Si «Pedido aprobado» aparece antes que «Pedido creado» en el mismo caso, revise las marcas de tiempo.
• Ordene por marca de tiempo: antes de cargar los datos, ordene los eventos de cada caso según la columna de marca de tiempo.

8. Gestione conjuntos de datos grandes

Las extracciones grandes tardan en prepararse y cargarse. Planifique teniendo en cuenta el volumen, en lugar de intentar reducirlo sin más.

• Use una muestra para explorar y cargue el conjunto completo para analizar: una muestra representativa basta para comprobar si los eventos extraídos tienen sentido. Cargue todos los datos cuando el análisis lo requiera.
• Cargue los datos de forma incremental: en lugar de reemplazar todo, añada los periodos nuevos mediante cargas incrementales (delta).
• Prefiera los formatos columnares: para grandes volúmenes, los archivos Parquet y ORC ocupan menos espacio y se cargan más rápido que los archivos CSV o Excel. Consulte Formatos de datos compatibles.

9. Proteja los datos sensibles

Los registros de eventos pueden contener nombres, direcciones, números de cliente e ID de usuario. Trate la extracción como datos personales.

• Anonimice o enmascare los datos: elimine o enmascare la información que el análisis no necesita y conserve los ID de usuario solo cuando sean relevantes para el análisis de recursos.
• Limite el acceso: comparta la extracción con el menor número posible de personas, solo cuando necesiten acceder a ella. Para los conjuntos de datos que cargue, use el control de acceso basado en roles.
• Cumpla las normas aplicables: respete los límites de conservación, cifre los datos en tránsito y en reposo, y cumpla normativas como el RGPD para los datos de clientes.

10. Cree el registro de eventos

Cuando los datos estén limpios, sean coherentes y estén ordenados, cree el registro de eventos, el conjunto de datos principal para Process Mining. Todo registro necesita:

• ID del caso: identificador único de cada instancia del proceso.
• Actividad: nombre del paso que tuvo lugar.
• Marca de tiempo: momento en que ocurrió el evento, que determina el orden de los eventos.

Las columnas opcionales aportan más contexto: recurso (persona o equipo), departamento, coste o cualquier atributo personalizado que quiera usar para segmentar el proceso. Consulte todos los requisitos en Formatos de datos compatibles.

11. Valide el conjunto de datos

Antes de confiar en los resultados, compruebe que el conjunto de datos representa el proceso que quiere analizar.

• Revise algunos casos: recorra varias instancias del proceso de principio a fin y confirme que las secuencias de eventos tienen sentido.
• Ejecute un análisis de prueba: analice el proceso y busque resultados claramente incorrectos, como actividades que nunca ocurren, un evento de inicio o de fin que no parece correcto o casos que deberían haberse cerrado.
• Confirme los datos con las personas responsables del proceso: las personas expertas en el negocio pueden confirmar en pocos minutos si los datos reflejan el trabajo real.

Limpieza de datos en ProcessMind

Después de cargar los datos, puede realizar en ProcessMind muchas de las tareas de preparación anteriores:

• Asigne y configure las columnas: defina los nombres para mostrar, los tipos de datos y los formatos de marca de tiempo en los atributos del conjunto de datos, sin tener que modificar el archivo de origen.
• Compruebe la calidad: el Dashboard de Calidad de los datos señala los valores ausentes y las incoherencias para que pueda corregirlos antes del análisis. Además, las Recomendaciones sobre datos con IA sugieren asignaciones y correcciones.
• Oculte o filtre los datos irrelevantes: oculte columnas en los atributos del conjunto de datos y use filtros para excluir los eventos que no necesita.
• Vuelva a cargar los datos en lugar de cargarlos otra vez: reemplace los datos existentes o use cargas incrementales (delta) para conjuntos de datos que crecen continuamente.

Para limpiar los datos fuera de ProcessMind antes de cargarlos, puede usar herramientas de propósito general como Python/Pandas, Excel, Google Sheets, herramientas ETL u OpenRefine. Para consultar una guía más amplia sobre nombres, formatos, cargas incrementales y archivado, consulte ETL para Process Mining.

Temas relacionados

• Dónde obtener datos - extraiga de sus sistemas una fila por cada paso
• Formatos de datos compatibles - tipos de archivo y requisitos de estructura
• Calidad de los datos - qué comprueba la insignia de calidad
• Solución de problemas con los datos - soluciones para cada problema
• ETL para Process Mining - guía general para preparar los datos