Data voor process mining: wat heb je nodig om aan de slag te gaan?

Voor process mining heb je drie datavelden nodig: een case-ID om events met elkaar te verbinden, een activiteit die aangeeft wat er is gebeurd en een timestamp die laat zien wanneer dat gebeurde. Vaak staan deze velden al in een export. De uitdaging is bepalen welke records antwoord geven op je vraag.

Kort antwoord: welke data heb je nodig voor process mining?

Begin met een minimale event log: één rij per event, met een case-ID, een activiteit en een timestamp. Voeg attributen toe als ze helpen een specifieke vraag te beantwoorden. Wacht niet op een perfecte dataset voordat je controleert of de data laat zien hoe het werk echt verloopt.

Alles hieronder draait om betrouwbare gegevens in die drie velden. Zijn de termen nieuw voor je? Lees dan eerst wat process mining is en wat een event log kan laten zien voordat je gegevens extraheert.

De verplichte datavelden vormen de basis van een process mining-dataschema. Met de optionele velden kun je later verschillen verklaren. Controleer eerst of je export de drie verplichte velden bevat en of elke rij één event weergeeft. Een uitgewerkt voorbeeld van de structuur vind je in een event log maken. Lees in de documentatie over datamapping hoe je de velden instelt.

Welke data heb je nodig?

Stel dat je een limonadekraam hebt en wilt weten waarom klanten moeten wachten. Je hebt niet elk detail van elke klant nodig. Je hebt de stappen van elke bestelling nodig.

Leg voor elk event het volgende vast:

• Case-ID: het ordernummer koppelt gebeurtenissen die bij dezelfde bestelling horen.
• Activiteit: de naam van wat er is gebeurd, zoals ‘Bestelling aannemen’, ‘Limonade maken’ of ‘Klant bedienen’.
• Timestamp: het moment waarop iets gebeurde. Zo kun je de gebeurtenissen op volgorde zetten.

Figure 1 — Kijk naar de stappen, niet naar elk detail van elke case.

Een klein voorbeeld laat al zien hoe de gegevens zijn opgebouwd:

Met deze velden zie je de volgorde van elke bestelling en hoelang elke stap duurt. Extra velden, zoals het type bestelling of het verkoopkanaal, kunnen verklaren waarom sommige bestellingen langer duren. Voeg ze toe als ze helpen om een vraag te beantwoorden.

Dit werkt net zo buiten de limonadekraam. In een orderproces kan het case-ID een ordernummer zijn, kunnen activiteiten statuswijzigingen zijn en komen timestamps uit een gebeurtenisgeschiedenis in plaats van uit een rapportexport. Nadat de velden zijn gekoppeld, leest ProcessMind een bestaande export in. Zo wordt de processtroom zichtbaar in het process mining-platform, zonder iets aan het bronsysteem te veranderen.

De zaak van de verdwenen limonadelogs

Het is druk bij de limonadekraam en de rij wordt steeds langer. Je wilt weten of klanten wachten om te bestellen, op de bereiding wachten of ergens tegenaan lopen. De aanwijzingen staan verspreid over bonnetjes, bestelgegevens en notities.

Figure 2 — De gegevens over één bestelling staan zelden netjes bij elkaar in één tabel.

Dat is heel gewoon in echte projecten. De data is er wel, maar niet als kant-en-klaar event log. Je combineert gegevens uit verschillende tabellen of systemen en bepaalt welke velden het case, de activiteit en de timestamp vormen.

Schrijf eerst op welke vraag je wilt beantwoorden. Zoek daarna de gegevens waarmee je die vraag kunt beantwoorden.

• Om de doorlooptijd van bestellingen te meten, zoek je het ordernummer en de timestamps van relevante statuswijzigingen.
• Om kanalen te vergelijken, voeg je het kanaal toe als extra attribuut.
• Om klachten te begrijpen, neem je klachtgerelateerde activiteiten of uitkomsten mee, als die consequent worden vastgelegd.

Zo blijft de eerste data-extract gericht. Je hoeft niet elk veld uit elk systeem te verzamelen. Je hebt alleen genoeg data nodig om het proces in kaart te brengen en de vraag te onderzoeken.

Heb je al een Excel- of CSV-export? Bekijk die dan voordat je het datateam vraagt een nieuwe extract te maken. Zo zie je welke vragen je met de bestaande velden kunt beantwoorden en wat een betere extract kan toevoegen.

Op zoek naar de juiste data

Bronnen voor process mining zijn meestal systemen die werk vastleggen terwijl het gebeurt: een ERP, CRM, ITSM-platform, ticketsysteem of een andere bedrijfsapplicatie. De benodigde gegevens kunnen in een database, rapport of export staan.

Vraag de proceseigenaar en systeemeigenaar waar belangrijke gebeurtenissen worden vastgelegd. Volg daarna een paar echte cases van begin tot eind. Controleer of je voor elke stap het case-ID, de gebeurtenisnamen en de timestamps kunt vinden.

1. Kies één proces en één vraag

   Waar wachten bestellingen, of bij welke overdracht gaat de meeste tijd verloren?

2. Zoek het systeem en de eigenaar ervan

   De applicatie waarin het werk wordt vastgelegd en het team dat de applicatie beheert.

3. Zoek naar de gebeurtenisgeschiedenis

   Een rapport of tabel met statuswijzigingen, niet alleen een momentopname van de huidige status.

4. Controleer het case-ID

   Hetzelfde ID moet voorkomen bij elke gebeurtenis die je wilt koppelen.

5. Exporteer eerst een kleine steekproef

   Bekijk de data voordat je om een grotere extract vraagt.

Haal niet elke tabel op alleen omdat die beschikbaar is. Een gerichte extract is makkelijker te controleren, op te schonen en uit te leggen. Loopt het proces door meerdere systemen? Leg dan vast hoe de gegevens aan elkaar hangen, bijvoorbeeld welk ordernummer een CRM-record koppelt aan een ERP-record.

Bekijk voor een overzicht van veelgebruikte bronnen de documentatie over waar je data vandaan haalt. Moet je data uit meerdere systemen combineren of bewerken? De gids over ETL voor process mining beschrijft hoe je dat aanpakt.

De data opschonen

Een export kan dubbele gebeurtenissen, ontbrekende timestamps, uiteenlopende statusnamen, testbestellingen of gegevens bevatten die niet bij het proces horen dat je wilt onderzoeken. Daardoor is de export niet meteen onbruikbaar. Wel moet je weten wat elke rij voorstelt voordat je conclusies trekt.

Controleer de data in een paar rondes:

• Dubbele gegevens: controleer of herhaalde rijen echte herhaalde gebeurtenissen zijn of per ongeluk zijn gekopieerd.
• Timestamps: zoek naar ontbrekende waarden, verschillende notaties, onverwachte tijdzones en gebeurtenissen die niet op volgorde staan.
• Activiteiten en statussen: maak labels die hetzelfde betekenen gelijk en houd statussen apart als ze verschillende stappen aanduiden.
• Test- of geannuleerde gegevens: bepaal of ze in de analyse thuishoren en noteer wat je uitsluit en waarom.
• Case-ID’s: controleer op lege of veranderende ID’s die één case in meerdere kunnen opsplitsen of niet-gerelateerde cases kunnen samenvoegen.

Verwijder ongebruikelijke cases niet zomaar omdat ze afwijken. Bepaal eerst of het geldige uitzonderingen of datafouten zijn. Houd elke wijziging bij, zodat je de bewerkte dataset kunt uitleggen aan de hand van de bron.

Datakwaliteit bij process mining is zelden een kwestie van goed of fout. Het gaat erom of de velden waarop je vraag steunt zich consequent gedragen. Daarom zegt een steekproef meer dan een belofte. ProcessMind toont de kwaliteit op de dataset zelf: een kwaliteitsbadge met een percentage en een paneel dat uitlegt waardoor de score wordt bepaald, zoals ontbrekende of inconsistente waarden en problemen met timestamps. Je ziet hoe betrouwbaar een resultaat is voordat je ermee aan de slag gaat. Ook kun je volgen hoe de score verandert wanneer je problemen oplost. Lees meer in de documentatie over datakwaliteit.

Controleren doe je stap voor stap: begin met een steekproef, koppel de velden, bekijk het resulterende proces en onderzoek wat niet klopt. De gids voor data opschonen en voorbereiden behandelt de gebruikelijke stappen en controles.

De data voorbereiden

Heb je de gegevens gevonden en gecontroleerd? Koppel dan de bronkolommen aan de velden die nodig zijn voor de procesanalyse. Het bronsysteem kan andere namen gebruiken, maar de betekenis moet duidelijk zijn.

Een activiteit beschrijft een gebeurtenis in het proces, geen vage opmerking. ‘Klant tevreden’ kan een mening of notitie zijn. ‘Bestelling bezorgd’ is een duidelijkere gebeurtenis, als het systeem die status vastlegt. Kies de timestamp die aangeeft wanneer de gebeurtenis plaatsvond, niet alleen wanneer een rapport is geëxporteerd.

Je hoeft ook niet elke kolom zelf toe te wijzen. Terwijl je een dataset koppelt, stelt ProcessMind mogelijke overeenkomsten voor. AI-data-aanbevelingen wijzen op waarschijnlijke koppelingen met een betrouwbaarheidsscore en stellen daarna attributen, activiteiten of bronnen voor die de analyse kunnen aanscherpen. Je controleert en bevestigt de voorstellen, in plaats van door lijsten met velden te zoeken. Dat scheelt een middag of zelfs een week koppelwerk. Bekijk de AI-data-aanbevelingen.

Met een goede koppeling is het proces begrijpelijk voor de mensen die het werk kennen. Controleer de activiteitsnamen met de proceseigenaar en ga na of het case-ID en de timestamps zich gedragen zoals verwacht. In de documentatie over datamapping lees je hoe je een dataset instelt. De gids over activiteiten koppelen gaat in op de definities van activiteiten.

Hoeveel data heb je nodig?

Er is geen vast aantal cases of vaste periode die voor elk proces geschikt is. Hoeveel data je nodig hebt, hangt af van hoe vaak het proces voorkomt, hoeveel variatie je verwacht en wat je wilt vergelijken.

Neem voor een eerste controle genoeg cases mee om zowel het normale werk als de uitzonderingen die je wilt onderzoeken te zien. Gebruik genoeg historie om de relevante procescycli en betekenisvolle veranderingen door de tijd heen te herkennen. Met een korte periode of kleine steekproef kun je het schema en de veldkoppelingen testen. Wees wel voorzichtig met de aanname dat de resultaten representatief zijn.

Met meer data vind je mogelijk minder gebruikelijke procespaden, maar het kost ook meer tijd om alles voor te bereiden en te analyseren. Begin met een afgebakende periode en breid die uit als de eerste resultaten vragen oproepen. Werk je met een groot event log? Bekijk dan de richtlijnen voor prestaties en schaalbaarheid van process mining voordat je bepaalt hoeveel historie je inlaadt.

Bestandsformaten en uploadmogelijkheden

Gebruik voor een eerste project een export die je team kan maken en controleren. ProcessMind ondersteunt gangbare spreadsheet- en tekstbestanden met scheidingstekens, waaronder CSV en Excel. Voor grotere logs kun je Parquet of ORC gebruiken. Een bestand uploaden duurt maar een paar minuten: voeg het toe, controleer de herkende kolommen en bekijk het proces voordat je iets over connectors beslist. De stappen vind je bij een dataset uploaden.

Je kunt data ook stapsgewijs laden als je nieuwe gegevens wilt toevoegen zonder de hele dataset opnieuw op te bouwen. De juiste aanpak hangt af van hoe de brondata wordt gemaakt en hoe vaak die verandert. Lees meer in de documentatie over ondersteunde dataformaten en data stapsgewijs laden.

Een API kan geschikt zijn als je data regelmatig op dezelfde manier wilt laden. Bekijk de documentatie over de data-API voor de beschikbare opties. Wil je bepalen hoe je data extraheert, bewerkt en laadt? Begin dan met de ETL-gids.

Welke data je niet moet uploaden

Neem alleen data op die nodig is om de procesvraag te beantwoorden. Persoonsgegevens kunnen voorkomen in velden waar je ze niet verwacht, vooral in vrije tekst, opmerkingen of beschrijvingen. Controleer de extract voordat je die uploadt en verwijder of maskeer velden die niet nodig zijn voor de analyse.

Stem met de teams voor privacy, beveiliging en datagovernance af wat binnen je organisatie is toegestaan. Bepaal of namen of andere directe identificatiegegevens echt nodig zijn. Voor veel analyses volstaat een team, rol of pseudoniem ID, zolang dat past bij het doel en het beleid.

Gebruik een procesanalyse niet als reden om meer persoonsgegevens te verzamelen. Beperk de dataset tot de velden die nodig zijn om het proces te begrijpen en volg de regels van je organisatie voor toegang, bewaartermijnen en verwerking. ProcessMind houdt tenants gescheiden en regelt toegang op basis van rollen. Een auditlog legt vast wie wat kon zien, zodat je die vraag later kunt beantwoorden. Bekijk de informatie over gebruikers, rollen en rechten, het auditlog en ons privacybeleid.

Je datateam betrekken

Met een duidelijke aanvraag kan je datateam het werk inschatten en onnodige data-extractie voorkomen. Stuur een briefing van één pagina met de volgende informatie:

• Proces: benoem het proces en geef aan waar het begint en eindigt.
• Vraag: beschrijf wat je wilt weten, bijvoorbeeld waar bestellingen wachten.
• Scope: vermeld de systemen, periode en soorten cases die je wilt meenemen.
• Vereiste velden: vraag voor elke gebeurtenis om een case-ID, activiteit en timestamp.
• Nuttige velden: noem alleen de attributen die nodig zijn om de vraag te beantwoorden.
• Voorbeelden: voeg een paar representatieve cases toe en verwijder gevoelige waarden waar nodig.
• Controles: vraag het team om ontbrekende ID’s of timestamps, dubbele gebeurtenissen en onduidelijke statuswaarden te melden.
• Privacy: bevestig welke velden gedeeld mogen worden en of er velden verwijderd of gemaskeerd moeten worden.

Deel ook de gids over event logs, zodat het team een concreet voorbeeld heeft van de benodigde structuur. Verwijs naar de bijbehorende gids voor procesverbetering als de extract uit een specifiek systeem moet komen. Volg na ontvangst van de export de gids Aan de slag om de data te laden en het proces te bekijken.

Volgende stap: data uploaden en koppelen

Je hebt geen perfecte extract nodig om te zien of je data geschikt is voor een eerste analyse. Begin met een bestaande export, controleer de drie vereiste velden en kijk wat aandacht nodig heeft voordat je in een groter dataproject investeert.

Een dataset levert ook na de eerste proceskaart iets op. Zodra de data is geladen, beoordeelt ProcessMind het proces standaard met Procesgezondheid. Elk proces krijgt een herhaalbare score op basis van de vijf dimensies van het CURES-framework: Conformance, Uniformity, Rework, Efficiency en Smoothness. De score laat zien waar je kunt beginnen. Dezelfde dashboards wijzen op wat je kunt verbeteren, zodat de eerste dataset een werklijst oplevert in plaats van alleen een plaatje. Voor Procesgezondheid en de bijbehorende scores is een Process Intelligence-licentieplaats nodig.