Mejora de procesos Lean: guía basada en datos
Conozca el proceso DMAIC, el proceso Six Sigma y las herramientas de mejora de procesos Lean para lograr resultados empresariales medibles.
El rendimiento de Process Mining depende de tres factores: cuántos datos carga, cómo los estructura y cómo los procesa el sistema. Esta guía aborda los tres aspectos con comparativas reales y formas prácticas de mejorar los resultados.
Publicamos todas nuestras cifras. Compárelas con cualquier herramienta de Process Mining del mercado.
Conclusiones principales
Cuando carga datos en ProcessMind, ocurren tres cosas. Aquí se explica exactamente dónde se emplea el tiempo:
Carga (domina el tiempo total). Su archivo viaja por internet hasta nuestra infraestructura en la nube. Este es el cuello de botella para los archivos grandes. La física se impone: un CSV de 50 millones de eventos (11 GB) tarda 2 minutos con una conexión de 1 Gbps, 18 minutos con 100 Mbps o más de 3 horas con 10 Mbps. Los mismos datos en Parquet ocupan solo 1,7 GB, lo que reduce esos tiempos a 19 segundos, 3 minutos y 28 minutos. Esta es la razón principal para utilizar formatos columnares como Parquet u ORC, o conjuntos de datos más pequeños.
Preprocesamiento (coste único, de ~30 s a 2,5 min). Una vez cargados, transformamos sus datos en un almacenamiento columnar optimizado: indexamos los eventos, precalculamos las transiciones de actividades, identificamos las variantes del proceso y calculamos las estadísticas resumidas. Esto tarda 30 segundos en conjuntos de datos pequeños y hasta 2,5 minutos con 100 millones de eventos. Este coste se aplica una sola vez por carga y después puede aprovechar sus resultados.
Cambios en el modelo (recálculo parcial, de 6 a 52 s). Cuando modifica el modelo del proceso al añadir o eliminar actividades, o cambiar las asignaciones, solo se actualizan los cálculos que dependen del modelo. Esto tarda 6 segundos en conjuntos de datos pequeños y hasta 52 segundos con 100 millones de eventos, mucho menos que un preprocesamiento completo. Los cambios en los filtros son instantáneos.
Rendimiento del panel: siempre rápido
Los Dashboards son rápidos. Una vez finalizado el preprocesamiento, las interacciones con los Dashboards responden en menos de 2,5 segundos para conjuntos de datos de hasta 10 millones de eventos. Incluso con 50 millones de eventos, la mayoría de las consultas se completan en 2–5 segundos. Solo los flujos de proceso con conjuntos de datos de más de 100 millones de eventos se acercan a los 7 segundos. Consulte los tiempos de respuesta detallados más abajo.
Hemos invertido mucho en el preprocesamiento para que el análisis, donde pasa horas, se sienta instantáneo.
Una vez cargados sus datos, varias características determinan la velocidad de las consultas. Comprenderlas le ayuda a diseñar mejores exportaciones y establecer expectativas realistas.
El número de actividades es importante. Los modelos de proceso con entre 10 y 20 actividades distintas son óptimos. Por encima de 50 actividades, el flujo del proceso tarda más en calcularse y resulta más difícil de comprender. Demasiados nodos y conexiones generan ruido visual. Si su exportación contiene muchas actividades, considere agrupar los pasos relacionados.
La diversidad de variantes afecta al cálculo. Un proceso en el que el 80 % de los casos sigue 5 variantes se analiza más rápido que otro en el que cada caso toma una ruta única. Una variación elevada no es necesariamente negativa y a menudo señala problemas reales, pero debe prever tiempos de consulta algo más largos.
Más columnas implican más datos que analizar. Cada atributo que incluye se indexa y se consulta. Las columnas principales, CaseId, Activity y Timestamp, siempre son necesarias. Las columnas adicionales ayudan a filtrar y categorizar, pero cada una añade carga.
Los casos largos tardan más. Un caso con 50 eventos requiere más cálculo que uno con 5. Si su proceso tiene casos que abarcan cientos de eventos, las consultas serán proporcionalmente más lentas. Esto es inherente al Process Mining y no depende de una herramienta concreta.
Comprender qué puede esperar le ayuda a planificar. Estas pruebas de referencia se ejecutan en infraestructura de producción de AWS, con latencia de red real, y representan el promedio de varias ejecuciones. Probamos más de 50 tipos de consulta por tamaño de conjunto de datos.
La tabla siguiente muestra expectativas realistas para cada tamaño de conjunto de datos. El tiempo de carga domina en los archivos grandes, especialmente con conexiones lentas. Es el factor individual que más influye en su tiempo total de espera.
| Conjunto de datos | Eventos reales | Tamaño del archivo | Carga (1 Gbps) | Carga (100 Mbps) | Carga (50 Mbps) | Carga (10 Mbps) | Preprocesamiento |
|---|---|---|---|---|---|---|---|
| 100K | 125.260 | 22 MB | < 1 s | 2 s | 4 s | 22 s | 35 s |
| 500K | 626.300 | 110 MB | 1 s | 11 s | 22 s | 2 min | 45 s |
| 1M | 1.253.424 | 221 MB | 3 s | 22 s | 44 s | 4 min | 55 s |
| 2M | 2.506.848 | 443 MB | 5 s | 44 s | 1,5 min | 7 min | 1 min |
| 5M | 4.996.877 | 1,1 GB | 13 s | 2 min | 4 min | 18 min | 1,5 min |
| 10M | 12.511.867 | 2,2 GB | 25 s | 4 min | 7 min | 37 min | 1,5 min |
| 20M | 25.023.734 | 4,4 GB | 50 s | 7 min | 15 min | 1,2 h | 2 min |
| 50M | 62.559.335 | 11,1 GB | 2 min | 18 min | 37 min | 3 h | 2 min |
| 100M | 125.118.670 | 22,3 GB | 4 min | 37 min | 1,2 h | 6 h | 2,5 min |
Los tamaños corresponden a un CSV sin comprimir con un esquema de Registro de eventos habitual (CaseId, Activity, Timestamp y entre 5 y 8 atributos empresariales). Sus archivos pueden ser más grandes o más pequeños según el número y el contenido de las columnas.
Los tiempos de carga a 1 Gbps se han medido con un rendimiento efectivo de 88 MB/s hacia AWS eu-central-1. Las demás velocidades se extrapolan a partir de rendimientos prácticos: 50 Mbps → ~5 MB/s, 100 Mbps → ~10 MB/s y 10 Mbps → ~1 MB/s. El rendimiento real depende de su red, la distancia al centro de datos y la carga actual.
La idea clave: el tiempo de preprocesamiento se mantiene entre 1 y 2,5 minutos, independientemente de la escala. El tiempo de carga aumenta de forma lineal con el tamaño del archivo. Reducir el tamaño del archivo es la optimización con mayor impacto que puede aplicar.
El formato del archivo que carga influye mucho en la velocidad de carga y el tiempo de preprocesamiento. ProcessMind admite CSV, Parquet, ORC, Excel y XES. En conjuntos de datos grandes, Parquet y ORC superan ampliamente a CSV tanto en tamaño de archivo como en velocidad de procesamiento.
| Conjunto de datos | CSV | Parquet | ORC | CSV.GZ |
|---|---|---|---|---|
| 1M eventos | 221 MB | 34 MB | 39 MB | 20 MB |
| 5M eventos | 1,1 GB | 151 MB | 197 MB | 107 MB |
| 10M eventos | 2,2 GB | 301 MB | 395 MB | 215 MB |
| 20M eventos | 4,4 GB | 603 MB | 791 MB | 430 MB |
| 50M eventos | 11,1 GB | 1,7 GB | 1,9 GB | 1,1 GB |
| 100M eventos | 22,3 GB | 3,4 GB | 3,7 GB | 2,2 GB |
Los archivos Parquet son un 85 % más pequeños que los CSV. Los archivos ORC son un 82 % más pequeños. Ambos son formatos columnares con compresión integrada, por lo que no se necesita ningún paso adicional. Es probable que su herramienta de ETL o plataforma de datos, como Spark, Databricks, dbt o BigQuery, ya admita la exportación a Parquet u ORC.
El tamaño del archivo es solo la mitad de la historia. Después de la carga, sus datos pasan por una ingesta y un cálculo analítico que dependen del formato, incluidos el indexado de eventos y los cálculos de transiciones y variantes. El paso analítico domina y es igual para todos los formatos. CSV.GZ es el único formato que añade un tiempo considerable, porque los archivos gzip no se pueden dividir para descomprimirlos en paralelo.
| Conjunto de datos | Parquet | ORC | CSV | CSV.GZ |
|---|---|---|---|---|
| 1M eventos | 55 s | 55 s | 55 s | 55 s |
| 5M eventos | 1,5 min | 1,5 min | 1,5 min | 1,5 min |
| 10M eventos | 1,5 min | 1,5 min | 1,5 min | 2 min |
| 20M eventos | 2 min | 2 min | 2 min | 2,5 min |
| 50M eventos | 2 min | 2 min | 2 min | 3 min |
| 100M eventos | 2,5 min | 2,5 min | 2,5 min | 4,5 min |
El tiempo de preprocesamiento es prácticamente idéntico para Parquet, ORC y CSV porque el cálculo analítico domina independientemente del formato de entrada. Sin embargo, el preprocesamiento de CSV.GZ se degrada considerablemente a escala, al pasar de aproximadamente un minuto con 1 millón de eventos a más de 4 minutos con 100 millones. Los archivos comprimidos con gzip no se pueden dividir ni procesar en paralelo, por lo que la descompresión añade un paso cada vez más largo antes de que pueda comenzar el análisis.
Si considera tanto el tiempo de carga como el preprocesamiento, la elección del formato resulta clara:
| 10M eventos (100 Mbps) | Tamaño del archivo | Carga | Preprocesamiento | Total |
|---|---|---|---|---|
| Parquet | 301 MB | 30 s | 1,5 min | ~2 min |
| ORC | 395 MB | 40 s | 1,5 min | ~2,2 min |
| CSV | 2,2 GB | 4 min | 1,5 min | ~5,5 min |
| CSV.GZ | 215 MB | 21 s | 2 min | ~2,5 min |
| 50M eventos (100 Mbps) | Tamaño del archivo | Carga | Preprocesamiento | Total |
|---|---|---|---|---|
| Parquet | 1,7 GB | 3 min | 2 min | ~5 min |
| ORC | 1,9 GB | 3,2 min | 2 min | ~5,2 min |
| CSV | 11,1 GB | 18 min | 2 min | ~20 min |
| CSV.GZ | 1,1 GB | 2 min | 3 min | ~5 min |
A escala, Parquet y ORC son los claros ganadores porque sus archivos son mucho más pequeños. El tiempo de carga es el principal cuello de botella. El preprocesamiento tarda aproximadamente lo mismo en todos los formatos, excepto en CSV.GZ, que acumula una penalización de descompresión cada vez mayor.
¿Qué formato debería utilizar?
¿Qué ocurre con Gzip?
Los archivos CSV.GZ son un 90 % más pequeños que los CSV sin comprimir, lo que resulta útil con conexiones lentas. Sin embargo, a diferencia de Parquet y ORC, que incorporan compresión y se pueden consultar directamente, los archivos gzip deben descomprimirse por completo antes del procesamiento y gzip no admite la descompresión en paralelo. Con más de 50 millones de eventos, el preprocesamiento de CSV.GZ tarda entre 3 y 4,5 minutos, frente a unos 2 minutos en los demás formatos. Con una conexión rápida, cargar un archivo Parquet ligeramente más grande casi siempre es la mejor opción.
Si tiene una conexión muy lenta, de 10 Mbps, y un CSV grande, gzip aún puede ser una opción válida: gzip -k data.csven Mac/Linux, o 7-Zip en Windows.
Una vez cargado un conjunto de datos de referencia, no necesita volver a cargarlo todo cuando llegan datos nuevos. ProcessMind admite la carga incremental, o cargas progresivas, para que pueda añadir nuevos eventos a un conjunto de datos existente.
Cómo funciona:
El impacto en el rendimiento es considerable. En lugar de volver a cargar cada vez el conjunto de datos en crecimiento, cargue solo lo nuevo:
| Escenario | Carga completa | Carga incremental | Tiempo ahorrado |
|---|---|---|---|
| Base de 10M + 500K eventos nuevos (100 Mbps) | 4 min de carga | 5 s de carga | ~4 min |
| Base de 20M + 2M eventos nuevos (100 Mbps) | 7 min de carga | 44 s de carga | ~6 min |
| Base de 50M + 5M eventos nuevos (100 Mbps) | 18 min de carga | 2 min de carga | ~16 min |
Después de una carga incremental, el preprocesamiento vuelve a ejecutarse sobre el conjunto de datos combinado, con el mismo coste de 1–2,5 minutos. Pero ahorra todo el tiempo de carga de los datos que ya había cargado.
La carga incremental es ideal para:
Los archivos incrementales deben utilizar el mismo formato y la misma estructura de columnas que la carga original. Consulte la guía de carga incremental de datos para obtener más información.
Para conjuntos de datos de varios gigabytes o cargas recurrentes, los scripts o las herramientas de línea de comandos son más fiables que las cargas desde el navegador. Los navegadores pueden agotar el tiempo de espera, consumir demasiada memoria o perder el progreso si se interrumpe la red.
Por qué la API funciona mejor con archivos grandes:
curl muestran el progreso de la transferencia en tiempo real.Ejemplo con curl:
# Upload a Parquet file directly using a presigned URL
curl -X PUT "$PRESIGNED_URL" --upload-file data.parquet ProcessMind proporciona URL prefirmadas que autorizan cargas directas al almacenamiento en la nube. No se necesitan credenciales adicionales aparte de su clave de API. También puede copiar la URL de carga prefirmada directamente desde el menú de configuración del conjunto de datos en la interfaz de ProcessMind.
Consulte la documentación de la API para ver ejemplos completos en Bash, JavaScript y Python, incluido cómo obtener URL prefirmadas, cargar archivos incrementales y gestionar conjuntos de datos grandes mediante programación.
Cuando perfecciona su modelo de proceso al cambiar el nombre de las actividades, modificar las asignaciones o añadir agrupaciones, solo es necesario actualizar los cálculos que dependen del modelo. Los datos base permanecen en su lugar:
| Conjunto de datos | Preprocesamiento completo | Cambio del modelo | Tiempo ahorrado |
|---|---|---|---|
| 1M eventos | 55 s | ~14 s | 75 % |
| 2M eventos | 1 min | ~16 s | 73 % |
| 10M eventos | 1,5 min | ~20 s | 78 % |
| 20M eventos | 2 min | ~23 s | 81 % |
| 50M eventos | 2 min | ~37 s | 69 % |
| 100M eventos | 2,5 min | ~52 s | 65 % |
Los cambios del modelo son rápidos porque el paso inicial de carga de datos, que aumenta con el tamaño del conjunto, ya se ha completado. Solo vuelve a ejecutarse la agregación que depende del modelo, incluidas las asignaciones de actividades, las transiciones y las variantes. En conjuntos de datos de hasta 20 millones de eventos, los cambios del modelo se completan en menos de 25 segundos. Incluso con 100 millones de eventos, tardan menos de un minuto, mucho menos que un preprocesamiento completo.
Una vez cargados sus datos, estos son los tiempos de respuesta que experimenta durante el análisis. Los tiempos siguientes son medianas calculadas a partir de varias ejecuciones de referencia. Cada componente del panel realiza sus consultas de forma independiente y se carga en paralelo:
| Conjunto de datos | Estadísticas | Flujo del proceso | Variantes | Categorías | Navegador de datos | Animación |
|---|---|---|---|---|---|---|
| 100K | 0,6 s | 1,5 s | 1,1 s | 1,5 s | 1,2 s | 1,4 s |
| 1M | 0,6 s | 1,6 s | 1,4 s | 1,9 s | 1,5 s | 2,0 s |
| 5M | 0,6 s | 2,5 s | 1,8 s | 2,4 s | 1,3 s | 2,1 s |
| 10M | 0,6 s | 3,4 s | 2,2 s | 2,5 s | 1,6 s | 2,4 s |
| 20M | 0,6 s | 3,9 s | 2,7 s | 3,3 s | 1,9 s | 3,6 s |
| 50M | 0,6 s | 5,1 s | 4,2 s | 5,7 s | 1,6 s | 2,7 s |
| 100M | 0,6 s | 7,2 s | 3,5 s | 4,7 s | 1,6 s | 5,0 s |
Patrones que conviene observar:
La conclusión: con los tamaños de conjunto de datos recomendados, de 1 a 10 millones de eventos, todos los componentes del panel responden en menos de 3,5 segundos. Incluso con 50 millones, la mayoría de las consultas se completan en 2–4 segundos con filtros aplicados. Solo los flujos de proceso y las vistas de categorías sin filtrar en conjuntos de datos de más de 50 millones alcanzan los 5–6 segundos.
Este es el consejo más importante de esta guía: no empiece con su conjunto de datos más grande.
El enfoque iterativo
Los números hablan por sí solos:
| Enfoque | Carga (100 Mbps) | Preprocesamiento | Espera total | Velocidad del panel |
|---|---|---|---|---|
| Empezar con 1M eventos | 22 s | 55 s | ~1,5 min | 1–2 s |
| Empezar con 5M eventos | 2 min | 1,5 min | ~3,5 min | 1–2,5 s |
| Empezar con 50M eventos | 18 min | 2 min | ~20 min | 1–6 s |
La mayoría de las organizaciones descubren que entre 1 y 5 millones de eventos son más que suficientes para obtener información útil. El comportamiento del proceso se estabiliza mucho antes de llegar a 10 millones de eventos. A partir de ahí, en su mayoría solo añade duplicados de patrones que ya ha visto.
Si su archivo Parquet de 1 millón de eventos, de 34 MB, se carga en 3 segundos y le proporciona el mismo mapa de proceso que 50 millones de eventos, ¿por qué esperar 18 minutos?
Las cifras anteriores cuentan una historia clara: con entre 1 y 5 millones de eventos, las cargas tardan segundos, el preprocesamiento tarda menos de 2 minutos y los Dashboards responden en 1–2,5 segundos. Con 50 millones, debe esperar 20 minutos para cargar los datos a través de una conexión de 100 Mbps, y los Dashboards tardan entre 3 y 6 segundos. La experiencia cambia radicalmente.
Por tanto, la pregunta real no es «¿qué tan rápida es la herramienta?», sino «¿cuántos datos necesito realmente?». La respuesta casi siempre es menos de lo que cree.
Analice primero un país, un departamento o una línea de productos.
No se trata de limitarse, sino de ganar claridad. El análisis segmentado produce información más precisa que los promedios globales.
Por qué funciona la segmentación:
Ejemplo: una empresa europea de logística con 42 millones de eventos de envíos en 8 países:
Dimensiones de segmentación
Geográficas, incluidos país, región y centro; organizativas, incluidas unidad de negocio y departamento; de producto, incluidas línea de productos y categoría; temporales, incluidos año fiscal y trimestre; de cliente, incluidos segmento y canal.
Excluya la ruta habitual antes de cargar los datos. Esta técnica puede reducir los conjuntos de datos entre un 90 y un 95 %.
La mayoría de los procesos empresariales siguen la regla 80/20. La gran mayoría de los casos sigue la ruta estándar y satisfactoria. Si busca excepciones, incumplimientos de Cumplimiento o desviaciones del proceso, no necesita esos datos.
Ejemplo: un proceso de compra a pago con 1,2 millones de órdenes de compra (8,4 millones de eventos):
Si analiza problemas de Cumplimiento, exporte solo los casos con excepciones. Esto supone una reducción del 92 %, de 8,4 millones de eventos (1,9 GB) a 670.000 eventos (150 MB). El tiempo de carga baja de 3 minutos a 15 segundos con 100 Mbps. Exporte en Parquet (15 MB) y podrá cargarlo en menos de 2 segundos.
Cómo filtrar antes de exportar
Filtre por estado, como rechazado, cancelado o con excepción; por actividades específicas, como casos que contienen «Rechazo» o «Anulación manual»; por duración del caso, como casos que tardan más de lo esperado; o por periodos concretos o unidades de negocio.
Cada columna que exporta consume ancho de banda, almacenamiento y tiempo de procesamiento. Elegir las columnas con cuidado es una de las optimizaciones con mayor impacto que puede aplicar.
Qué debe excluir:
Ejemplo: una exportación de SAP con 1,8 millones de eventos de órdenes de compra y 45 columnas se redujo a 12 columnas esenciales:
Las columnas importantes: CaseId, Activity, Timestamp y algunos atributos empresariales, como estado, importe, categoría y región. Todo lo demás probablemente sea ruido.
Algunas preguntas analíticas requieren realmente conjuntos de datos grandes. Comprender cuándo ocurre esto le ayuda a tomar la decisión adecuada:
Si necesita más de 50 millones de eventos, planifíquelo: utilice el formato Parquet, que reduce un CSV de 11 GB a 1,7 GB y acelera el preprocesamiento; utilice la API para realizar transferencias fiables; y use una conexión de red rápida si está disponible. Después de esa primera carga, los Dashboards siguen siendo rápidos.
Las secciones anteriores tratan sobre el volumen de datos. La otra mitad de la capacidad de respuesta depende de cómo se construyen el modelo y los Dashboards:
La mejor forma de comprender el rendimiento del Process Mining es experimentarlo con sus propios datos.
Empiece con una muestra. Exporte 1 millón de eventos de un periodo reciente en formato Parquet. Cárguelos. Cree su primer modelo. Compruebe con qué rapidez puede iterar.
Aplique las técnicas de esta guía. Utilice formatos columnares. Filtre las excepciones. Segmente por región. Elimine las columnas innecesarias. Cada optimización se apoya en la anterior.
Escale de forma deliberada. Cuando comprenda su proceso con 1 millón de eventos, decida si necesita más. Normalmente, no. Cuando los necesite, utilice delta loading para añadir datos en lugar de volver a cargarlos.
Inicie la prueba gratuita y compruebe estos datos de referencia en acción. Si necesita ayuda para determinar el tamaño de su conjunto de datos u optimizar sus exportaciones, póngase en contacto con nosotros. Hemos ayudado a cientos de organizaciones a encontrar el equilibrio adecuado entre volumen de datos y velocidad de análisis.
Conozca el proceso DMAIC, el proceso Six Sigma y las herramientas de mejora de procesos Lean para lograr resultados empresariales medibles.
Compare Process Mining de Celonis con ProcessMind para encontrar el software que se adapte a sus procesos, presupuesto y objetivos.
Compare Fluxicon Disco y ProcessMind en funciones, precios y casos de uso para elegir la plataforma de Process Mining adecuada para su equipo.
Compare ProcessMind y SAP Signavio para Process Mining, modelado y simulación. Elija la opción adecuada para su empresa.
Obtenga acceso inmediato sin tarjeta de crédito ni esperas. Convierta la forma en que trabaja su organización en diseños de procesos claros y conectados.
Construya su arquitectura de procesos, defina la propiedad y los controles, y alinee los roles y las responsabilidades en todos los niveles.
Comience su prueba gratuita y cree una base fiable para gobernar, gestionar y mejorar continuamente sus procesos.
Utilizamos cookies para mejorar su experiencia, personalizar el contenido y analizar el tráfico. Al hacer clic en «Aceptar todo», acepta nuestro uso de cookies.