ETL avanzado para Process Mining

ETL para Process Mining

El Process Mining depende de la data que proviene de varios sistemas, convirtiendo el ETL en un componente crítico. ETL, abreviatura de Extract, Transform, Load, es un proceso de almacenamiento de data que extrae data de sistemas fuente, la transforma según sea necesario y la carga en un data warehouse o herramienta de Process Mining. Este proceso es esencial para recolectar, limpiar, organizar y preparar la data para análisis.

Aquí tienes una guía para realizar ETL para Process Mining de manera efectiva.

Enfoque Global

La regla más importante: no te apresures a extraer data. La extracción de data es costosa y requiere tiempo.

Comienza definiendo los objetivos de tu proyecto e identificando los procesos que quieres analizar. Elige un proceso para comenzar y crea un esquema rápido usando un modelo BPMN. Agrega data al modelo para alinearlo con los objetivos de tu proyecto. Comienza con data fácilmente disponible, como archivos Excel, data fácilmente exportable, o data ya usada en otros análisis. Luego, identifica brechas de data y extrae solo la data necesaria para lograr tus objetivos. Resiste la tentación de reunir toda la data ‘por si acaso’: el exceso de data te ralentizará. La velocidad de tu ciclo de mejora continua a menudo depende más de la recolección de data que de la implementación.

Empieza con cargas de archivos simples. Automatiza la carga de data solo cuando tenga sentido, como cuando la data se actualiza frecuentemente y se requiere un análisis continuo. En muchos casos, el análisis estático se prefiere por su estabilidad. Cualquiera sea el enfoque que elijas, no dejes que te ralentice. Es mejor cargar data trimestralmente en unos minutos que pasar semanas automatizando, solo para descubrir que la data es incorrecta o insuficiente para tu caso de negocio.

¿Qué Data se Necesita?

El Process Mining requiere data específica: un ID de case, un timestamp y una actividad. La data adicional, como costo, usuario, equipo o huella de CO2, puede mejorar tu análisis. También puedes incluir dimensiones extras para gráficos o medidas adicionales para métricas.

Obtener algunos datos de Process Mining suele ser sencillo, ya que los campos requeridos son comunes. Sin embargo, crear un dataset único con toda la data necesaria puede ser desafiante, a menudo requiriendo transformaciones significativas para combinar y unificar piezas separadas en un archivo.

No te preocupes por tener todo de una vez—comienza con lo que tienes.

¿Qué Formato de Data se Necesita?

Aunque existen formatos de data avanzados, la mayoría de las herramientas aún dependen de archivos de texto simples. Usa archivos separados por comas (CSV) o tabulados (TSV/TXT). Evita archivos de texto con ancho fijo, ya que la mayoría de las herramientas no pueden procesarlos.

Los archivos deben comenzar con una fila de encabezado, seguida de filas de data que coincidan con los campos y el orden del encabezado.

Si necesitas caracteres no ingleses, utiliza codificación UTF-8. Asegúrate de que los campos no contengan separadores o caracteres de fin de línea. Puedes usar comillas alrededor de los campos, pero evita las comillas dentro de los campos. Si es necesario, reemplaza las comillas con otro carácter para simplificar el procesamiento.

Data Fácilmente Disponible

Comienza enumerando la data a la que es fácil acceder. Considera estas fuentes:

• Informes mensuales o semanales de Excel con data en bruto. Usa Excel para volver a formatear si es necesario.
• Data de Process Mining de otras herramientas, que a menudo no requiere procesamiento adicional.
• Opciones de exportación estándar de sistemas como HR, financieros o sistemas ITSM. Exporta a un formato que soporte tu herramienta de Process Mining.
• Exportaciones de herramientas analíticas que informan sobre la data requerida. Usa tablas dinámicas y exportaciones para crear el formato adecuado.
• Data warehouses con data limpia y combinada. Usa herramientas del warehouse para seleccionar y exportar data como CSV.

Sistemas de Proceso

La data se almacena a menudo en sistemas como SAP, Workday, Salesforce o ServiceNow. Primero, verifica si una exportación simple satisface tus necesidades, ya que esta es la forma más rápida de crear valor. Si no, utiliza herramientas ETL para extraer, transformar y cargar data en tu herramienta de Process Mining.

Dependiendo de tu organización, puede que necesites involucrar a IT, propietarios de sistemas o equipos de almacenamiento de data. Aunque esto puede ralentizar la recolección de data, no pases por alto a estos equipos: tienen procedimientos y experiencia que pueden acelerar el proceso. Trabaja en un bucle ágil con ellos, comenzando con data fácilmente disponible y evitando solicitudes de todo a la vez, lo que puede causar retrasos.

Inicialmente, solicita data en formato de texto. Más tarde, automatiza usando la API de tu herramienta de Process Mining o herramientas ETL integradas.

Herramientas ETL Integradas en Herramientas de Process Mining

Generalmente aconsejamos no usar las herramientas ETL integradas de los proveedores de Process Mining. Aunque pueden parecer convenientes, tienen limitaciones significativas:

• Calidad inferior comparada con herramientas ETL dedicadas.
• Uso de tecnología propietaria en lugar de estándares de la industria como SQL, aumentando las necesidades de capacitación y reduciendo la disponibilidad de expertos.
• Vendor lock-in, dificultando el cambio de herramientas.
• Creación de silos de data, limitando la reutilización de la data en otros proyectos de analítica o AI.

Herramientas ETL de terceros

Muchas herramientas ETL de terceros cubren necesidades de Process Mining. Aunque Process Mining requiere data específica, las operaciones suelen ser estándar.

Se recomienda usar herramientas basadas en SQL para facilitar la reutilización de la lógica ETL y mejorar el mantenimiento a largo plazo. Usa herramientas internas para evitar retrasos o bloqueos al adoptar nuevas soluciones.

Herramientas ETL de terceros comunes en Process Mining:

• CData: Excelente para extracción, suele usarse junto con otras herramientas.
• dbt: Herramienta de transformación SQL, apta para grandes volúmenes.
• BigQuery: Data warehouse gestionado por Google, ideal para consultas SQL rápidas en grandes sets de data.
• Snowflake: Plataforma cloud para almacenamiento y computación escalable, usada para transformación y análisis.
• DataBricks: Plataforma unificada que integra data engineering, machine learning y analytics.
• Talend: Herramienta ETL gráfica compatible con múltiples orígenes de data.
• Apache Nifi: Herramienta ETL open source para automatización de data flow y procesamiento en tiempo real.

Herramientas ETL especializadas para Process Mining

Las herramientas ETL especializadas para Process Mining combinan ventajas de ETL de terceros con funciones y plantillas propias de la minería de procesos.

Ejemplos:

• Evidant: Data Transform Refinery. Especializada en extracción y transformación de data para Process Mining con alto volumen.
• Konekti: Diseñada para crear modelos de process data de forma precisa y ágil.

Conclusiones

ETL no es el objetivo de los proyectos de Process Mining, pero a menudo es un paso necesario. Configura tu proceso de ETL para evitar demoras:

• Usa data fácilmente disponible.
• Comienza con cargas manuales; automatiza cuando sea apropiado.
• Utiliza herramientas existentes, preferiblemente SQL.

Lo más importante, comienza con la data que necesitas y expande gradualmente. Evita recolectar toda la data al principio, ya que esto puede descarrilar tu proyecto.