ETL-tools voor process mining: wat heb je nodig?

Heb je ETL nodig voor process mining?

ETL-tools halen data op uit bronsystemen, zetten die om naar een bruikbaar formaat en laden ze in voor analyse. In dit artikel lees je welk ETL-werk een process mining-project echt nodig heeft en wanneer je het kunt overslaan. Dit is geen koopgids voor pipelines. Kan één systeem de gegevens exporteren en bevat het bestand een case-ID, een activiteit en een timestamp? Dan kun je voor een eerste analyse vaak zonder pipeline en de export meteen inladen.

Dat hangt af van het proces, de systemen erachter en hoe vaak de analyse moet worden bijgewerkt. Begin met de kleinste extractie waarmee je een vraag kunt beantwoorden. Voeg pas voorbereiding en automatisering toe als de eerste analyse laat zien dat die nodig zijn.

In drie situaties is ETL-werk nodig:

• Het proces loopt over meerdere systemen. Gegevens moeten worden samengevoegd en identificatiecodes op elkaar afgestemd voordat je een case van begin tot eind kunt volgen.
• De brondata is niet direct bruikbaar. Activiteiten, timestamps of case-ID’s moeten eerst worden gestandaardiseerd voordat je ze kunt analyseren.
• De extractie moet worden herhaald. Verandert de data dagelijks en moet de analyse dat tempo bijhouden, dan is handmatig exporteren niet langer praktisch.

Dit zijn redenen om data voor te bereiden, niet om al een pipeline te bouwen voordat je de eerste vraag hebt beantwoord. Laad wat beschikbaar is, kijk wat ontbreekt en bepaal daarna wat nodig is.

Je kunt een aparte pipeline ook overslaan als:

• Het proces grotendeels in één systeem wordt vastgelegd.
• Je de relevante gegevens kunt exporteren.
• De export een case-ID, een activiteit en een timestamp bevat.
• Het bestand klein genoeg is om handmatig voor te bereiden.
• Je nog test of de data antwoord geeft op je vraag.

Een spreadsheet is prima om kolommen te hernoemen, duidelijke inconsistenties te corrigeren en onnodige velden te verwijderen. Handmatige voorbereiding hoeft niet blijvend te zijn. Blijkt de analyse nuttig en moet de data vaak worden bijgewerkt, automatiseer dan de stappen die je steeds herhaalt.

Wat de extractie moet opleveren

Een event log voor process mining heeft drie velden nodig, met één rij per gebeurtenis.

Attributen zoals kosten, gebruiker, team, klantsegment of CO₂-voetafdruk zijn optioneel. Ze maken het verschil tussen alleen een procesweergave en een analyse: elk attribuut dat je behoudt, kan later als filter, uitsplitsing of meetwaarde dienen. In de referentie voor datasetattributen lees je wat je met elk veld kunt doen.

Een veld kan in de bron staan en toch onbruikbaar zijn. Als een case-ID per systeem verschilt, kun je gebeurtenissen niet aan elkaar koppelen. Inconsistente activiteitsnamen maken van één echte stap drie stappen. Staat een timestamp als tekst opgeslagen, dan kunnen gebeurtenissen in de verkeerde volgorde komen te staan. Bekijk de export voordat je de velden koppelt en controleer eerst de drie verplichte velden. Lees wat process mining nodig heeft voor een vollediger beeld van wat een log moet bevatten.

Een minimale query voor een event log

Als de bron al één rij per activiteit opslaat, volstaat een select-query. Dit voorbeeld gaat uit van een tabel met de naam process_events, met een case, een activiteit en een tijdstip:

SELECT
  case_id        AS case_id,
  activity_name  AS activity,
  event_time     AS timestamp
FROM process_events
WHERE case_id IS NOT NULL
  AND activity_name IS NOT NULL
  AND event_time IS NOT NULL
ORDER BY case_id, event_time;

De query geeft de drie velden een naam, verwijdert rijen die niet bruikbaar zijn en sorteert gebeurtenissen binnen elke case. Pas de tabel- en kolomnamen aan je bron aan en controleer daarna een aantal cases voordat je de data inlaadt. Elke case moet de verwachte gebeurtenissen bevatten, in een volgorde die herkenbaar is voor de mensen die het werk doen.

Welke transformatiestappen zijn nodig?

Transformeer data alleen als dat nodig is om vertekening van de analyse te voorkomen. Meestal zijn vier stappen voldoende.

1. Normaliseer de gebeurtenissen

   Zet elke keer dat een activiteit plaatsvindt op een eigen rij, met de case-ID en timestamp. Doe dit ook als de bron processtappen in aparte kolommen opslaat.

2. Maak timestamps bruikbaar

   Controleer of de waarden echte datums en tijden zijn en of ze lokale tijd of UTC weergeven. Stem de tijdzones van gecombineerde bronnen op elkaar af, anders klopt de volgorde van gebeurtenissen niet.

3. Standaardiseer de activiteitsnamen

   Gebruik voor elke echte stap één naam, in één taal en met één spelling. Voeg stappen die alleen op elkaar lijken niet samen om de lijst korter te maken.

4. Voeg bronnen alleen samen als dat nodig is

   Zoek de sleutel waarmee je gegevens koppelt en controleer of die overeenkomt. Als een join gebeurtenissen dupliceert of cases verwijdert, verandert de procesweergave. Vergelijk daarom het aantal records vóór en na het samenvoegen.

Bevat de export al één rij per gebeurtenis en zijn de drie velden aanwezig, dan hoef je niets te transformeren. Dat is heel normaal, geen sluiproute. In Zo maak je een event log voor process mining vind je dezelfde uitleg met voorbeelden in Excel en SQL.

Waar laad je het event log in?

Laad de voorbereide data in op het platform waar je de analyse uitvoert. Voor een eerste verkenning volstaat één bestand: bereid het voor, laad het in, bekijk de procesweergave en verfijn de extractie zodra je ziet wat de data laat zien. Zet geen nieuwe opslaglaag op alleen voor process mining. Beheert je team al een datawarehouse of datalake, laat de data daar dan staan en laad in wat die omgeving oplevert.

Op de pagina met ondersteunde dataformaten vind je meer informatie. Je kunt dezelfde formaten ook via een geplande taak aanleveren met de data-API, als niemand handmatig bestanden wil uploaden.

Een geladen dataset wordt aan het model gekoppeld. In het paneel zie je welke cases de dataset bevat en welke activiteiten nog niet zijn gekoppeld. Source: ProcessMind

Welke route je ook kiest, de data moet terechtkomen op de plek waar de analyse plaatsvindt. Een bestand in een map waar niemand naar kijkt, is geen datastrategie. Een dataset die iemand koppelt en controleert wel.

Welke ETL-tools zijn geschikt voor process mining?

Er is geen lijst met ETL-tools die voor elk project geschikt is. Kies op basis van waar de data staat, welke tools je team al gebruikt en hoeveel voorbereiding het log nodig heeft. Het werk zelf is gewone data-engineering. De enige specifieke eis voor process mining is dat de uitvoer de case-ID, activiteit en timestamp bevat.

Namen die je vaak tegenkomt in process mining-projecten: CData en dbt voor data-extractie en SQL-transformaties, BigQuery, Snowflake en Databricks voor datawarehousing, en Talend, Apache NiFi en Airbyte als het verplaatsen van data tussen systemen de grootste uitdaging is. Open source is ook een serieuze optie. NiFi en Airbyte zijn daarvoor gangbare startpunten. Sommige leveranciers bieden ETL voor process mining, zoals Evidant en Konekti, met templates voor veelgebruikte systemen.

Dit zijn voorbeelden, geen aanbevelingen, en geen van deze partijen is een partner. Kies tools en formaten die je team ook na het project kan onderhouden. Houd de transformatielogica waar mogelijk buiten het process mining-product. Denk goed na over ingebouwde ETL: die is handig zolang je op hetzelfde platform blijft, maar je voorbereiding is daarna lastiger te hergebruiken voor een volgend analyse- of AI-project.

Hoe beheer je de data na het inladen?

Extractie is maar de helft van het werk. Hoe je de datasets daarna beheert, bepaalt of je analyse een kwartaal later nog klopt.

• Geef datasets een naam die de inhoud beschrijft. Q1_2025_Sales_Data of Customer_Support_Logs is duidelijker dan export_final_v3.
• Kies het juiste formaat. CSV of Excel volstaat voor kleine bestanden die je handmatig uploadt. Parquet of ORC is geschikter voor grote datasets en bestanden uit een pipeline.
• Bekijk een voorbeeld voordat je velden koppelt. Controleer de structuur, de kolomtypen en een paar rijen. Controleer ook de case-ID, activiteit en timestamp in de datasetconfiguratie.
• Controleer de activiteitskoppeling. Laat de automatische koppeling een eerste voorstel doen en loop daarna de niet-toegewezen activiteiten na. Stappen die wel plaatsvinden maar niet in de data staan, kun je markeren als Dataflowdoorvoer. Zo blijven ze zichtbaar zonder de cijfers te veranderen.
• Werk de dataset bij in plaats van hem opnieuw op te bouwen. Vervang een terugkerende export door een vers bestand, dagelijks of wekelijks, afhankelijk van wat de analyse nodig heeft. Behoud daarbij dezelfde koppeling.
• Leg vast wat de data niet omvat. Noteer ontbrekende perioden, systemen en stappen bij de analyse. Die bepalen welke conclusies je kunt trekken.
• Beperk de toegang en archiveer daarna. Geef alleen de mensen die de dataset nodig hebben toegang en archiveer datasets die niet meer nodig zijn voor een afgerond project.

Kort samengevat

ETL is een middel, niet het doel van een process mining-project. Richt het zo in dat het de eerste analyse niet vertraagt:

• Begin met de data die je deze week kunt krijgen.
• Behoud de drie verplichte velden, ook als je de rest verwijdert.
• Laad eerst de export in en automatiseer dat pas als de analyse erom vraagt.
• Gebruik tools en formaten die je team al onderhoudt.

Projecten mislukken vaker doordat de pipeline is gebouwd voordat duidelijk was welke vraag die moest beantwoorden dan doordat de pipeline te eenvoudig was.