Op deze pagina
> bronnen > documentatie > procesmining data > Data opschonen en voorbereiden voor process mining

Data opschonen en voorbereiden voor process mining

Process Intelligence Process Intelligence Beschikbaar vanaf een Process Intelligence-licentieplaats. Alleen met een licentieplaats in dit abonnement of een hoger abonnement kun je deze functie gebruiken. Abonnementen vergelijken Beschikbaar met een Process Intelligence-licentieplaats of hoger

Goede process mining begint met data van goede kwaliteit. Het meeste werk draait om een paar terugkerende problemen: events die nooit zijn vastgelegd, ID’s die niet overeenkomen tussen systemen, verschillende gegevensformaten en extracties die te groot of te gevoelig zijn om zomaar te gebruiken. Op deze pagina lees je hoe je die problemen aanpakt. Wil je dit in ProcessMind doen? Bekijk dan Je dataset configureren en Datakwaliteit.

Waarom zijn data opschonen en voorbereiden belangrijk?

Process mining werkt met event logs: datasets met de gedetailleerde volgorde van activiteiten binnen een bedrijfsproces. Als die datasets onvolledig of inconsistent zijn, of fouten bevatten, zijn de inzichten niet betrouwbaar. Met schone, goed gestructureerde data kan de software workflows in kaart brengen, bottlenecks vinden en verbeterpunten zichtbaar maken.

Belangrijke stappen voor het opschonen en voorbereiden van data

1. Verzamel data uit alle betrokken systemen

Data komt meestal uit verschillende systemen: een ERP voor orders en facturen, een CRM voor klantstappen en een servicedesk voor tickets. Verzamel data uit al die systemen voordat je begint met opschonen. Een stap die in een overgeslagen systeem staat, kun je later niet meer terughalen.

  • Breng databronnen samen: noteer welke systemen een deel van het proces vastleggen en haal data uit elk systeem op. Een order-to-cash-proces loopt bijvoorbeeld via een verkoopsysteem (zoals Salesforce) en een financieel systeem (zoals SAP).
  • Doorbreek datasilo’s: spreek met de proceseigenaren af welke systemen meetellen en wie data daaruit mag exporteren. Ontbrekende data komt meestal uit een systeem dat niet is meegenomen, niet door een defecte query. Integratietools zoals Apache NiFi, Talend, Informatica of Power BI kunnen meerdere bronnen samenvoegen in één bestand.
  • Bepaal wat je niet kunt exporteren: wordt een stap buiten een systeem uitgevoerd, bijvoorbeeld een goedkeuring per telefoon of op papier? Leg dan op zijn minst de uitkomst vast in een digitaal systeem, of modelleer de stap zodat de procesweergave compleet blijft. In Waar haal je data vandaan? lees je per systeem waar je de data vindt.

2. Verwijder dubbele records

Dubbele records vertekenen de analyse: ze verhogen het aantal activiteiten en laten één event op meerdere events lijken. Zoek naar records met hetzelfde case-ID, dezelfde activiteit en dezelfde timestamp. Verwijder ze of voeg ze samen tot één rij.

3. Ontbrekende data aanvullen

Ontbrekende timestamps, activiteiten of case-ID’s doorbreken de volgorde van events en leiden tot onvolledige procesmodellen.

  • Zoek ontbrekende waarden: controleer op lege timestamps, ontbrekende activiteitsnamen en lege case-ID’s.
  • Vul ontbrekende gegevens aan: gebruik waar mogelijk andere bronnen of domeinkennis. Als een timestamp ontbreekt, kunnen de tijden van omliggende events helpen om die te bepalen.
  • Modelleer in plaats van te verzinnen: voeg stappen die nooit zijn vastgelegd toe via procesmodellering, in plaats van timestamps te verzinnen. Zo sluiten het gemijnde proces en het gedocumenteerde proces op elkaar aan.
  • Vul aan of verwijder: gebruik bij belangrijke ontbrekende gegevens een aanvulmethode, zoals vervanging door het gemiddelde of een regressiemodel. Kan een case niet worden hersteld, verwijder die dan en noteer waarom.

4. Maak formaten, ID’s en namen consistent

  • Timestamps: gebruik overal hetzelfde formaat (bijvoorbeeld YYYY-MM-DD HH:MM:SS). Bevat de extractie verschillende tijdzones, zet dan alles om naar UTC. Bekijk de lijst met ondersteunde datumformaten
  • Case-ID’s: hetzelfde proces heeft in verschillende systemen vaak verschillende ID’s, zoals een ordernummer in het CRM en een factuurnummer in de financiële administratie. Maak een koppeling tussen de ID’s, in de extractie of in een opzoektabel, zodat elk event bij één case hoort. Geef elke procesinstantie een uniek ID. Controleer in ProcessMind of de kolom met case-ID’s voor elke gecombineerde dataset op dezelfde manier is toegewezen. Zie datasetattributen.
  • Activiteitsnamen: systemen gebruiken soms verschillende namen voor dezelfde stap. Kies per stap één naam. “Order goedkeuren” en “Ordergoedkeuring” zijn bijvoorbeeld dezelfde activiteit.
  • Waarden en typen: sla getallen op als getallen (kosten, doorlooptijden, bedragen) en gebruik per kolom één eenheid.

5. Verwijder irrelevante events

Niet elk vastgelegd event hoort bij het proces dat je analyseert. Systeemaanmeldingen, technische nieuwe pogingen en administratieve taken maken de kaart onoverzichtelijk zonder extra inzicht op te leveren.

  • Filter irrelevante events eruit: bepaal met domeinkennis welke events bij het proces horen en sluit de rest uit.
  • Kies het juiste detailniveau: te grove events, zoals “order afgehandeld”, verbergen de variaties waar je naar zoekt. Te gedetailleerde events maken de kaart juist onleesbaar. Groepeer gebeurtenissen op laag niveau onder de bedrijfsactiviteit waar ze bij horen. De proceseigenaren bepalen waar de grens ligt.

6. Pak uitschieters en ruis aan

Uitschieters geven een vertekend beeld van het normale procesverloop. Een taak die door een zeldzame gebeurtenis uitzonderlijk lang duurde, kan bijvoorbeeld het gemiddelde sterk beïnvloeden.

  • Spoor uitschieters op: markeer doorlooptijden die ver buiten het normale bereik voor die stap vallen.
  • Bepaal of je ze behoudt: een echte uitzondering, zoals een zeldzame maar ernstige storing, levert vaak waardevolle informatie op. Een datafout niet. Verwijder alleen wat onjuist is, niet wat onhandig uitkomt.

7. Controleer de volgorde van events

Als events in de verkeerde volgorde staan, brengt de software de verkeerde flow in kaart.

  • Controleer de volgorde: de events van elke case moeten overeenkomen met de timestamps. Staat “Order goedgekeurd” vóór “Order aangemaakt” in dezelfde case, controleer dan de timestamps.
  • Sorteer op timestamp: sorteer de events van elke case op de timestampkolom voordat je ze uploadt.

8. Verwerk grote datasets

Grote extracties zijn traag om voor te bereiden en te uploaden. Houd daarom rekening met de omvang, in plaats van ertegen te werken.

  • Verken met een steekproef, analyseer met de volledige dataset: met een representatieve steekproef kun je controleren of de geëxtraheerde events kloppen. Laad de volledige extractie wanneer de analyse die nodig heeft.
  • Laad stapsgewijs: voeg nieuwe perioden toe met incrementele (delta-)uploads, in plaats van alle data te vervangen.
  • Kies bij voorkeur kolomformaten: Parquet- en ORC-bestanden zijn kleiner en uploaden sneller dan CSV- of Excel-bestanden bij grote hoeveelheden data. Bekijk Ondersteunde dataformaten.

9. Bescherm gevoelige data

Event logs bevatten namen, adressen, klantnummers en gebruikers-ID’s. Behandel de extractie daarom als persoonsgegevens.

  • Anonimiseer of maskeer: verwijder of maskeer gegevens die niet nodig zijn voor de analyse. Bewaar gebruikers-ID’s alleen als ze nodig zijn voor bronanalyse.
  • Beperk de toegang: geef de extractie zo weinig mogelijk mensen toegang, alleen als dat nodig is. Gebruik rolgebaseerde toegangscontrole voor de datasets die je uploadt.
  • Volg de regels die voor jou gelden: houd rekening met bewaartermijnen, versleuteling tijdens verzending en opslag, en regels zoals de AVG voor klantdata.

10. Maak het event log

Als de data schoon, consistent en op volgorde staat, maak je het event log: de primaire dataset voor process mining. Elk event log heeft het volgende nodig:

  • Case-ID: een unieke identificatie voor elke procesinstantie.
  • Activiteit: de naam van de uitgevoerde stap.
  • Timestamp: het tijdstip waarop de activiteit plaatsvond, zodat de volgorde van events vastligt.

Met optionele kolommen voeg je extra informatie toe, zoals de bron (persoon of team), afdeling, kosten of een eigen attribuut waarmee je het proces wilt uitsplitsen. Alle vereisten staan in Ondersteunde dataformaten.

11. Valideer de dataset

Controleer voordat je op de resultaten vertrouwt of de dataset het proces weergeeft dat je wilt analyseren.

  • Controleer enkele cases: loop een paar procesinstanties van begin tot eind na en controleer of de volgorde van events klopt.
  • Voer een testanalyse uit: voer process mining uit en let op duidelijke fouten, zoals activiteiten die nooit plaatsvinden, een onwaarschijnlijk start- of eindevent of cases die afgesloten hadden moeten zijn.
  • Controleer de data met de proceseigenaren: experts kunnen snel aangeven of de data overeenkomt met de dagelijkse praktijk.

Data opschonen in ProcessMind

Veel van de bovenstaande voorbereidingen kun je na het uploaden in ProcessMind uitvoeren:

  • Wijs kolommen toe en configureer ze: stel weergavenamen, datatypen en timestampformaten in bij de datasetattributen, in plaats van het bronbestand aan te passen.
  • Controleer de kwaliteit: het dashboard Datakwaliteit markeert ontbrekende waarden en inconsistenties, zodat je die kunt oplossen voordat je de analyse uitvoert. AI-data-aanbevelingen doet suggesties voor toewijzingen en oplossingen.
  • Verberg of filter irrelevante data: verberg kolommen bij de datasetattributen en gebruik filters om onnodige events uit te sluiten.
  • Laad data opnieuw in plaats van opnieuw te uploaden: vervang data op dezelfde plek of gebruik incrementele (delta-)uploads voor datasets die blijven groeien.

Voor het opschonen buiten ProcessMind kun je algemene hulpmiddelen gebruiken, zoals Python/Pandas, Excel, Google Sheets, ETL-tools en OpenRefine. Die gebruik je voordat je de data uploadt. Bekijk voor de volledige aanpak, met naamgeving, formaten, incrementeel laden en archiveren, ETL voor process mining.

Gerelateerde onderwerpen