Herramientas ETL para Process Mining

ETL para Process Mining

El Process Mining depende de datos procedentes de varios sistemas, por lo que ETL es un paso fundamental. ETL significa Extract, Transform, Load, es decir, extraer, transformar y cargar. Extrae datos de los sistemas de origen, los transforma para analizarlos y los carga en un almacén de datos o una plataforma de Process Mining. Este Workflow le ayuda a recopilar, limpiar, organizar y preparar los datos para obtener información fiable sobre los procesos.

Así puede utilizar ETL de forma eficaz para Process Mining.

Enfoque global

La regla más importante es sencilla: no se apresure a extraer datos. Le costará tiempo y dinero.

Empiece por definir los objetivos de su proyecto e identificar los procesos que desea analizar. Elija un proceso y cree un esquema rápido con un modelo BPMN. Añada datos al modelo según los objetivos del proyecto. Comience con los datos disponibles, como archivos de Excel, datos fáciles de exportar o datos que ya utilice para otros análisis. Después, identifique las carencias de datos y extraiga solo lo que necesita para alcanzar sus objetivos. Resista la tentación de recopilarlo todo «por si acaso». El exceso de datos ralentiza el trabajo. La velocidad de su ciclo de mejora continua suele depender más de la recopilación de datos que de la implementación.

Empiece con cargas de archivos sencillas. Automatice la carga de datos solo cuando tenga sentido, por ejemplo, cuando los datos cambien con frecuencia y necesite un análisis continuo. En muchos casos, el análisis estático ofrece mayor estabilidad. Sea cual sea el enfoque que elija, no permita que le ralentice. Cargar datos trimestralmente en unos minutos es mejor que dedicar semanas a automatizar el proceso para descubrir después que los datos son incorrectos o insuficientes para su caso de negocio.

¿Qué datos necesita?

El Process Mining requiere tres datos: un ID de caso, una marca de tiempo y una actividad. Otros datos, como el coste, el usuario, el equipo o la huella de CO2, pueden aportar contexto al análisis. También puede incluir dimensiones adicionales para los gráficos y medidas adicionales para las métricas.

Obtener datos para Process Mining suele ser sencillo porque los campos necesarios son habituales. Crear un único conjunto de datos con toda la información necesaria puede resultar más difícil. Es posible que necesite realizar transformaciones importantes para combinar y estandarizar varias fuentes de datos en un solo archivo.

No necesita tenerlo todo desde el principio. Empiece con lo que ya tiene.

¿Qué formato de datos necesita?

Aunque existen formatos de datos avanzados, la mayoría de las herramientas siguen utilizando archivos de texto sencillos. Utilice archivos separados por comas (CSV) o por tabulaciones (TSV/TXT). Evite los archivos de texto de ancho fijo, ya que la mayoría de las herramientas no puede procesarlos.

Cada archivo debe comenzar con una fila de encabezados, seguida de filas de datos que coincidan con los campos del encabezado y respeten su orden.

Si necesita caracteres que no sean del inglés, utilice la codificación UTF-8. Asegúrese de que los campos no contengan separadores ni caracteres de fin de línea. Puede encerrar los campos entre comillas, pero evite utilizar comillas dentro de los campos. Si es necesario, sustituya las comillas internas por otro carácter para simplificar el procesamiento.

Datos disponibles

Empiece por enumerar los datos a los que puede acceder fácilmente. Considere estas fuentes:

• Informes mensuales o semanales de Excel con datos sin procesar. Utilice Excel para reformatear los datos si es necesario.
• Datos de Process Mining procedentes de otras herramientas, que a menudo no requieren un preprocesamiento adicional.
• Exportaciones estándar de sistemas como RR. HH., finanzas o sistemas ITSM. Exporte los datos en un formato compatible con su herramienta de Process Mining.
• Exportaciones de herramientas analíticas que generan informes sobre los datos que necesita. Utilice tablas dinámicas y exportaciones para crear el formato adecuado.
• Almacenes de datos con información limpia y combinada. Utilice las herramientas del almacén para seleccionar y exportar los datos como CSV.

Sistemas de procesos

Los datos suelen almacenarse en sistemas como SAP, Workday, Salesforce o ServiceNow. Primero, compruebe si una exportación sencilla cubre sus necesidades. Normalmente es la forma más rápida de generar valor. Si no es suficiente, utilice herramientas ETL para extraer, transformar y cargar los datos en su herramienta de Process Mining.

Según su organización, puede que necesite involucrar a los equipos de TI, a las personas responsables de los sistemas o a los equipos de almacenamiento de datos. Esto puede ralentizar la recopilación de datos, pero no prescinda de estos equipos. Cuentan con procedimientos y experiencia que pueden agilizar el proceso. Trabaje con ellos en un ciclo ágil. Empiece con los datos que ya estén disponibles y evite solicitarlo todo de una vez, ya que esto puede provocar retrasos.

Al principio, solicite los datos en formato de texto. Más adelante, automatice el proceso con la API de su herramienta de process mining o con sus herramientas ETL integradas.

Herramientas ETL integradas en herramientas de process mining

Por lo general, no recomendamos utilizar las herramientas ETL integradas de los proveedores de process mining. Pueden parecer prácticas, pero tienen limitaciones importantes:

• Menor calidad que las herramientas ETL especializadas.
• Tecnología propietaria en lugar de estándares del sector como SQL, lo que aumenta las necesidades de formación y reduce la disponibilidad de conocimientos especializados.
• Dependencia del proveedor, lo que dificulta cambiar de herramienta.
• Silos de datos que limitan su reutilización en otros proyectos de analítica o IA.

Herramientas ETL de terceros

Muchas herramientas ETL de terceros son compatibles con process mining. Aunque process mining requiere datos específicos, las operaciones subyacentes son estándar.

Prefiera herramientas basadas en SQL para poder reutilizar la lógica ETL y mantenerla a largo plazo. Utilice las herramientas que ya tenga en su organización para evitar retrasos o bloqueos del proyecto derivados de adoptar una tecnología nueva.

Entre las herramientas ETL de terceros más habituales para process mining se incluyen:

• CData: Excelente para extraer datos y suele utilizarse junto con otras herramientas.
• dbt: Herramienta de transformación basada en SQL, con funciones para gestionar transformaciones de gran tamaño.
• BigQuery: Almacén de datos gestionado de Google, diseñado para ejecutar consultas SQL rápidas sobre grandes volúmenes de datos.
• Snowflake: Plataforma en la nube para almacenamiento y computación escalables, utilizada para transformar y analizar datos.
• DataBricks: Plataforma unificada de analítica que combina ingeniería de datos, aprendizaje automático y analítica.
• Talend: Herramienta ETL gráfica compatible con diversas fuentes de datos.
• Apache Nifi: Herramienta ETL de código abierto para automatizar flujos de datos y procesarlos en tiempo real.

Herramientas ETL especializadas para process mining

Las herramientas ETL especializadas para process mining combinan las ventajas de las herramientas ETL de terceros con funciones y plantillas de process mining.

Algunos ejemplos son:

• Evidant: Data Transform Refinery. Se centra en extraer y transformar datos de process mining a gran escala.
• Konekti: Diseñada para crear rápidamente modelos precisos de datos de procesos.

Gestionar los datos después de cargarlos

La extracción es solo la mitad de la gestión de datos. La forma de organizar los conjuntos de datos después determina si el análisis sigue siendo fiable.

• Asigne nombres a los conjuntos de datos según su contenido. Q1_2025_Sales_Data o Customer_Support_Logs es mejor que export_final_v3. Utilice colores para agrupar conjuntos de datos relacionados y asigne un nombre específico del proceso cuando un conjunto desempeñe una función concreta.
• Elija el formato adecuado para cada tarea. CSV o Excel funcionan bien para archivos pequeños y medianos cargados manualmente; Parquet u ORC resultan más adecuados para conjuntos de datos grandes y flujos automatizados.
• Obtenga una vista previa antes de analizar. Compruebe la estructura, los tipos de columna y algunas filas antes de realizar la asignación, y confirme las columnas que necesita Process Mining: ID del caso, actividad y marca de tiempo (los campos de Process Mining).
• Asigne con criterio. Deje que la asignación automática haga una primera pasada y, después, revise las actividades sin asignar; normalmente es ahí donde se esconden los pasos de proceso más interesantes. Los pasos que existen en la realidad pero no dejan rastro en los datos pueden marcarse como flujo de datos a través de, para que sigan visibles sin distorsionar las cifras.
• Amplíe los datos en lugar de sustituirlos. Para exportaciones recurrentes, utilice la carga incremental para añadir filas nuevas en lugar de volver a cargar el archivo completo.
• Combine o separe con intención. Los conjuntos de datos que comparten atributos pueden combinarse en una vista para la simulación y el análisis; los que difieren considerablemente conviene mantenerlos separados, con sus propios atributos para aplicar filtros.
• Mantenga bajo control los filtros y las métricas. Un filtro útil en marzo puede confundir el Dashboard en junio. Elimine los filtros cuando la pregunta a la que respondían ya esté resuelta y muestre solo las métricas que realmente se consultan.
• Controle el acceso y archive después. Conceda acceso a los conjuntos de datos a quienes lo necesiten y archive los que estén obsoletos en lugar de dejarlos dentro del proceso activo.

Conclusión

ETL no es el objetivo de un proyecto de process mining, pero a menudo resulta necesario. Configure su proceso ETL para evitar retrasos:

• Utilice los datos que ya estén disponibles.
• Empiece con cargas manuales y automatice cuando sea conveniente.
• Utilice las herramientas existentes, preferiblemente las basadas en SQL.

Lo más importante es empezar poco a poco con los datos que necesita y ampliar el alcance gradualmente. Recopilarlo todo desde el principio puede desviar su proyecto.