Problemen met data oplossen

Problemen met data oplossen

Dataproblemen herken je aan concrete signalen: cases die uiteenvallen, events in de verkeerde volgorde, ontbrekende stappen of onmogelijke waarden. Op deze pagina ga je van het symptoom terug naar de oorzaak en vervolgens naar de oplossing. Soms pas je een instelling in ProcessMind aan, soms moet je de extractie wijzigen.

Bekijk Data opschonen en voorbereiden voor het volledige voorbereidingsproces: hoe goede data eruitziet en hoe je die krijgt. Lees Datakwaliteit voor de controles die het platform op je data uitvoert.

Eerste controles

Kijk eerst wat ProcessMind al laat zien voordat je het bronbestand onderzoekt:

• De rode lijst boven de panelen. Op het tabblad Algemeen van de dataset staat in een rode lijst wat de analyse blokkeert: een ontbrekende Case-ID, Activiteit of Eindtijd, activiteiten zonder data, attributen zonder waarden of een verschil tussen een opnieuw geüpload bestand en het procestype waarvoor het is geladen. Begin hier.
• De kwaliteitsbadge en het paneel. De badge toont de score voor procesgezondheid als percentage. Het paneel geeft informatie over actualiteit, attribuutdekking en activiteitenanalyse.
• AI-data-aanbevelingen. Een scan van de dataset toont gevonden aandachtspunten en stelt koppelingen en oplossingen voor.
• Datasetattributen. Stel de weergavenaam, het datatype en de timestampnotatie in, of verberg een kolom, zonder opnieuw te exporteren.

Symptomen in de procesgrafiek

Cases zijn opgesplitst in meerdere cases

Je ziet: één procesinstantie verschijnt als veel korte cases met elk maar één of twee stappen. De grafiek toont daardoor een rechte rij activiteiten.

Oorzaak: de kolom die aan Case-ID is gekoppeld, identificeert iets kleiners dan de procesinstantie, bijvoorbeeld een regelitem, factuurnummer of documentnummer uit één systeem.

Oplossing: koppel de kolom die de volledige instantie identificeert, zoals de order, ticket of claim. Is er geen enkele kolom die dat doet, dan moet je de gegevens eerder in het proces samenvoegen. Combineer de identificaties in SQL of je ETL-taak, zodat elke event van één instantie dezelfde Case-ID heeft, en upload het bestand opnieuw. De naamgevingsconventies per systeem staan in Waar je data vindt.

Events staan in de verkeerde volgorde

Je ziet: activiteiten die later plaatsvinden, staan vóór activiteiten die eerder gebeurden, bijvoorbeeld een factuur met een datum vóór die van de order.

Oorzaak: meestal is er een van deze drie dingen aan de hand. De timestamp is met de verkeerde notatie ingelezen (een 03/04/2025-waarde wordt gelezen als 4 maart in plaats van 3 april). Events uit systemen in verschillende tijdzones zijn zonder tijdzoneconversie gecombineerd. Of de verkeerde kolom is als tijdveld gekoppeld.

Oplossing: controleer de notatie bij datasetattributen en kijk of het datatype Timestamp is, niet tekst. Zet alle bronnen om naar dezelfde tijdzone voordat je exports combineert. Sorteer elke case op timestamp en controleer steekproefsgewijs enkele cases van begin tot eind.

Stappen ontbreken

Je ziet: een stap die zeker plaatsvindt, ontbreekt in de grafiek.

Oorzaak: de stap laat geen spoor achter in de data, bijvoorbeeld een telefonische goedkeuring of handtekening op papier. De activiteit is niet gekoppeld of een filter verbergt de stap.

Oplossing: maak bestaande maar niet geregistreerde stappen zichtbaar door de activiteit als stap voor Dataflowdoorvoer in te stellen. Koppel de overige activiteiten met Activiteiten koppelen en ontkoppelen. Niet-toegewezen activiteiten zijn halfdoorzichtig en hebben gestippelde verbindingen. Controleer daarna welke filters actief zijn.

Cases worden nooit afgesloten

Je ziet: veel cases stoppen zonder een End Event te bereiken.

Oorzaak: de export stopt op een bepaalde datum terwijl de cases nog lopen, het model heeft geen End Event of de afsluitende activiteit staat niet in de dataset.

Oplossing: voeg een echt End Event toe aan het model of accepteer de open cases en sluit ze uit van tijdanalyses. Tijdmetingen tellen alleen afgesloten cases mee. Een case die nog niet is afgerond, is geen datafout.

Aantallen lijken te hoog

Je ziet: een activiteit wordt opvallend vaak uitgevoerd of het aantal cases is hoger dan in de bedrijfsrapportages.

Oorzaak: dubbele rijen: hetzelfde event is twee keer geregistreerd door een integratie of een herhaalde extractie.

Oplossing: verwijder dubbele rijen op basis van case-ID, activiteit en timestamp voordat je uploadt. In het voorbereidingsproces lees je waar dubbele extracties meestal vandaan komen.

De procesgrafiek is onoverzichtelijk

Je ziet: honderden activiteiten, waarvan de meeste technisch zijn.

Oorzaak: aanmeldingen, nieuwe pogingen en achtergrondtaken staan in dezelfde extractie als de processtappen.

Oplossing: verberg attributen die je niet analyseert, filter events uit die niet bij het proces horen en groepeer gebeurtenissen op laag niveau bij de activiteit waar ze bij horen. De proceseigenaren bepalen waar de grens ligt tussen nuttige details en ruis.

Data uit verschillende systemen sluit niet op elkaar aan

Je ziet: er zitten gaten in het proces waar een systeem data had moeten aanleveren.

Oorzaak: systemen zijn op verschillende momenten geëxtraheerd, gebruiken verschillende namen voor dezelfde stap of een extractie ontbreekt helemaal.

Oplossing: stem de extractieperioden en activiteitennamen op elkaar af voordat je data combineert. Geef elke dataset een rol via primair en vergelijking in plaats van bestanden samen te voegen die niet overeenkomen.

Symptomen in de dataset

De upload wordt geweigerd

Je ziet: de upload eindigt met een foutmelding of het bestand wordt als één kolom ingelezen.

Oorzaak: het bestand voldoet niet aan een van de structuurvereisten. Veelvoorkomende oorzaken zijn een ontbrekende kopregel (die moet op de eerste regel staan), lege rijen tussen gegevens, getallen die als tekst zijn opgeslagen en Excel-bestanden met data op het tweede werkblad. Alleen het eerste werkblad wordt ingelezen.

Oplossing: zet de kopregel op rij 1, verwijder lege rijen, controleer of getallen als getallen zijn opgeslagen en verplaats de eventdata naar het eerste werkblad. Scheidingstekens en aanhalingstekens in CSV, TSV en TXT worden automatisch herkend. Wordt het bestand als één kolom ingelezen, dan kan het meestal niet goed worden geïnterpreteerd. Exporteer het opnieuw als CSV of Parquet.

Kolommen of datatypen kloppen niet

Je ziet: een kolom ontbreekt of een timestamp wordt als tekst behandeld.

Oorzaak: het bestand is veranderd sinds de vorige upload of het datatype is verkeerd herkend.

Oplossing: stel het datatype en de notatie handmatig in of verberg de kolom. Controleer na het vervangen van een bestand de rode lijst op verschillen tussen het nieuwe bestand en de dataset waarin het is geladen.

Timestamps worden niet herkend

Je ziet: de timestampkolom is leeg of de doorlooptijden zijn veel te lang.

Oorzaak: een ongebruikelijke notatie, een regionale volgorde van dag en maand, verschillende precisie in één kolom (seconden en milliseconden) of een tijdzoneconversie die twee keer is toegepast.

Oplossing: stel de notatie expliciet in bij datasetattributen, splits exports met verschillende precisie bij de bron en gebruik vóór het uploaden één tijdzone.

Waarden zijn leeg

Je ziet: de attribuutdekking in het kwaliteitspaneel toont hiaten of een grafiek bevat een categorie null.

Oorzaak: het bronsysteem registreert niet voor elke case een waarde of de export heeft lege velden weggelaten.

Oplossing: vul waar mogelijk de hiaten bij de bron aan. Gebruik functies voor null-waarden in een berekend attribuut als je een lege waarde wilt vervangen door een bruikbare standaardwaarde.

Activiteiten hebben verschillende namen

Je ziet: “Order goedkeuren” en “Goedkeuring van order” staan als twee activiteiten vermeld, terwijl ze hetzelfde betekenen. Of dezelfde stap heeft per land een andere naam.

Oorzaak: elk bronsysteem gebruikt een eigen naam voor hetzelfde werk.

Oplossing: spreek per stap één naam af. Maak de waarden vervolgens gelijk in de extractie of voeg een berekend attribuut toe dat de verschillende namen omzet naar één naam. Koppel de activiteit daarna aan dat attribuut.

Symptomen in de cijfers

Gemiddelden lijken te laag

Je ziet: een gemiddelde doorlooptijd per case die volgens de bedrijfsvoering niet realistisch is.

Oorzaak: tijdmetingen tellen alleen afgesloten cases mee, dus onafgeronde cases vallen buiten de berekening. Vaak zijn juist de snelste cases al afgerond, vooral in een recente periode.

Oplossing: vergelijk vergelijkbare cases. Beperk de periode tot cases die genoeg tijd hebben gehad om af te ronden. Lees de definities in Tijdmetingen voordat je conclusies trekt uit één gemiddelde en bekijk de verdeling in plaats van alleen het gemiddelde.

Uitschieters bepalen het gemiddelde

Je ziet: gemiddelden die veel hoger liggen dan bij een doorsnee case.

Oorzaak: een klein aantal extreme cases trekt het gemiddelde omhoog. Soms zijn dit echte uitzonderingen, soms gaat het om datafouten.

Oplossing: bekijk de langzaamste cases (P90 ten opzichte van de mediaan) in plaats van het gemiddelde. Controleer of de extreme cases echt zijn en sluit alleen cases uit die daadwerkelijk fout zijn. Een zeldzame maar echte uitzondering levert inzicht op. Tijdmetingen licht elke meting toe.

Een vergelijking toont geen resultaten

Je ziet: bij een vergelijkingsdataset staat Niet aanwezig (0 cases, 0% dekking).

Oorzaak: de actieve filters of de gekozen periode bevatten geen cases voor die dataset, of de activiteiten ervan zijn niet aan het model gekoppeld.

Oplossing: maak de periode langer, controleer de koppelingen van de vergelijkingsdataset en kijk welke dataset als primair is ingesteld.

Als de dataset te groot is

Sommige problemen komen niet door fouten in de data, maar door de omvang:

• Trage uploads: gebruik bij voorkeur Parquet of ORC. Voor Excel-bestanden is XLSB sneller dan XLSX. Bekijk Ondersteunde dataformaten.
• Groeiende bestanden: voeg nieuwe perioden toe met een incrementele (delta-)upload in plaats van het hele bestand te vervangen.
• Trage analyses: verwijder kolommen die niemand analyseert, filter de ideale route weg als je uitzonderingen zoekt en bekijk één periode of regio tegelijk. In de prestatiesgids lees je welke invloed de omvang heeft.
• Datasets die je niet meer nodig hebt: archiveer datasets die je niet meer analyseert, zodat de workspace alleen data bevat waar je mee aan de slag gaat.

Los het probleem op bij de bron

Elke oplossing in ProcessMind bespaart een round-trip, maar sommige problemen los je alleen eerder in het proces op: een ontbrekend bronsysteem, verschillende tijdzones of identificaties die geen enkele export samenvoegt. Pas de extractie aan en, als het probleem terugkomt, ook het systeem dat de extractie maakt. Bekijk Waar je data vindt voor de stappen per systeem en ETL voor process mining voor werkwijzen waarmee je extractie betrouwbaar blijft.

Kom je er nog niet uit?

Kun je met de controles hierboven niet verklaren wat je ziet? Neem dan contact op met het supportteam en vermeld de datasetnaam, de case die je bekijkt, wat je verwachtte en wat je in plaats daarvan ziet. Een schermafbeelding van de grafiek en een van het kwaliteitspaneel helpen meestal sneller dan een beschrijving.

Probeer process mining met je eigen data

Gerelateerde onderwerpen

• Datakwaliteit - wat de badge laat zien en hoe je het paneel leest
• Je dataset configureren - de rode validatielijst en de verplichte velden
• Ondersteunde dataformaten - koptekstrijen, werkbladen en bestandstypen
• Data opschonen en voorbereiden - de volledige workflow voor datavoorbereiding
• Incrementeel data laden - datasets uitbreiden zonder bestanden opnieuw te uploaden
• Veelgestelde vragen - antwoorden op veelgestelde vragen