Datenbereinigung und -aufbereitung für Process Mining

Effektives Process Mining beginnt mit hochwertigen Daten. Dabei geht es meist um dieselben Probleme: Ereignisse, die nie erfasst wurden, Kennungen, die systemübergreifend nicht übereinstimmen, uneinheitliche Formate und Exporte, die zu groß oder zu sensibel für eine unbedachte Verarbeitung sind. Auf dieser Seite gehen wir diese Probleme und die passenden Lösungen durch. Wie Sie dieselben Aufgaben in ProcessMind erledigen, erfahren Sie unter Datensatz konfigurieren und Datenqualität.

Warum sind Datenbereinigung und -aufbereitung wichtig?

Process Mining basiert auf Event Logs: Datensätzen mit einer detaillierten Abfolge der Aktivitäten in einem Geschäftsprozess. Sind diese Datensätze unvollständig, uneinheitlich oder fehlerhaft, sind auch die daraus gewonnenen Erkenntnisse unzuverlässig. Bereinigte und korrekt strukturierte Daten ermöglichen es dem Tool, Workflows abzubilden, Engpässe zu erkennen und Verbesserungspotenziale aufzuzeigen.

Wichtige Schritte zur Datenbereinigung und -aufbereitung

1. Daten aus allen beteiligten Systemen erfassen

Daten stammen meist aus mehreren Systemen: aus einem ERP für Bestellungen und Rechnungen, aus einem CRM für Kundenschritte und aus einem Service Desk für Tickets. Erfassen Sie die Daten aus allen Systemen, bevor Sie mit der Bereinigung beginnen. Ein Schritt, der in einem ausgelassenen System erfasst wird, lässt sich später nicht wiederherstellen.

• Datenquellen zusammenführen: Listen Sie die Systeme auf, in denen Teile des Prozesses erfasst werden, und exportieren Sie die Daten aus jedem System. Ein Order-to-Cash-Prozess erstreckt sich beispielsweise über ein Vertriebssystem wie Salesforce und ein Finanzsystem wie SAP.
• Datensilos aufbrechen: Klären Sie mit den Prozessverantwortlichen, welche Systeme berücksichtigt werden und wer Daten daraus exportieren darf. Fehlende Daten stammen meist aus einem nicht berücksichtigten System und nicht aus einer fehlerhaften Abfrage. Integrationstools wie Apache NiFi, Talend, Informatica oder Power BI können mehrere Quellen in einer Datei zusammenführen.
• Nicht exportierbare Daten einplanen: Wenn ein Schritt außerhalb eines Systems stattfindet, etwa eine telefonische Genehmigung oder eine Unterschrift auf Papier, erfassen Sie zumindest das Ergebnis in einem digitalen System oder modellieren Sie den Schritt. So bleibt die Prozessansicht vollständig. Datenquellen beschreibt, wo Sie Daten aus den einzelnen Systemen beziehen.

2. Duplikate entfernen

Doppelte Datensätze verfälschen die Analyse: Sie erhöhen die Aktivitätszahlen und lassen ein Ereignis wie mehrere erscheinen. Erkennen Sie Duplikate anhand übereinstimmender Case-ID, Aktivität und Timestamp. Entfernen Sie sie anschließend oder führen Sie sie zu einer Zeile zusammen.

3. Fehlende Daten behandeln

Fehlende Timestamps, Aktivitäten oder Case-IDs unterbrechen die Ereignisabfolge und führen zu unvollständigen Prozessmodellen.

• Fehlende Werte ermitteln: Suchen Sie nach leeren Timestamps, fehlenden Aktivitätsnamen und nicht vorhandenen Case-IDs.
• Lücken schließen: Verwenden Sie nach Möglichkeit andere Quellen oder Ihr Fachwissen. Fehlt ein Timestamp, können die Zeitangaben der umliegenden Ereignisse helfen, ihn einzugrenzen.
• Modellieren statt erfinden: Fügen Sie nie erfasste Schritte über die Prozessmodellierung hinzu, statt Timestamps zu erfinden. So ergänzen sich der analysierte und der dokumentierte Prozess.
• Werte schätzen oder Datensätze entfernen: Schätzen Sie bei kritischen Lücken fehlende Werte mit einem geeigneten Verfahren, etwa durch Mittelwertersetzung oder ein Regressionsmodell. Lässt sich ein Case nicht wiederherstellen, entfernen Sie ihn und halten Sie den Grund fest.

4. Formate, IDs und Namen vereinheitlichen

• Timestamps: Verwenden Sie überall dasselbe Format (zum Beispiel YYYY-MM-DD HH:MM:SS). Wenn der Export mehrere Zeitzonen enthält, rechnen Sie alle Werte in UTC um. Eine Liste der unterstützten Datumsformate finden Sie hier
• Case-IDs: Derselbe Prozess hat in verschiedenen Systemen oft unterschiedliche Kennungen, etwa eine Bestellnummer im CRM und eine Rechnungsnummer in der Finanzbuchhaltung. Ordnen Sie die Kennungen einander zu, entweder im Export oder über eine Nachschlagetabelle. So wird jedes Ereignis dem richtigen Case zugeordnet. Vergeben Sie für jede Prozessinstanz eine eindeutige ID. Prüfen Sie in ProcessMind, ob die Case-ID-Spalte in allen zusammengeführten Datensätzen gleich zugeordnet ist. Weitere Informationen finden Sie unter Datensatzattribute.
• Aktivitätsnamen: Systeme bezeichnen denselben Schritt oft unterschiedlich. Legen Sie für jeden Schritt eine einheitliche Bezeichnung fest. „Bestellung genehmigen“ und „Bestellgenehmigung“ bezeichnen beispielsweise dieselbe Aktivität.
• Werte und Datentypen: Speichern Sie Zahlen wie Kosten, Dauern und Beträge als Zahlen und verwenden Sie pro Spalte dieselbe Einheit.

5. Nicht relevante Ereignisse entfernen

Nicht jedes erfasste Ereignis gehört zu dem Prozess, den Sie analysieren. Systemanmeldungen, technische Wiederholungsversuche und Verwaltungsaufgaben machen die Darstellung unübersichtlich, ohne Erkenntnisse beizutragen.

• Nicht relevante Ereignisse herausfiltern: Entscheiden Sie mithilfe Ihres Fachwissens, welche Ereignisse den Prozess beschreiben, und schließen Sie die übrigen aus.
• Den passenden Detaillierungsgrad wählen: Zu grob erfasste Ereignisse wie „Bestellung bearbeitet“ verbergen die gesuchten Varianten. Zu detaillierte Ereignisse überladen die Darstellung mit technischen Einzelheiten. Fassen Sie Ereignisse auf niedriger Ebene zu den passenden Geschäftsaktivitäten zusammen. Wo die Grenze verläuft, entscheiden die Prozessexperten.

6. Ausreißer und Störsignale behandeln

Ausreißer vermitteln ein falsches Bild vom normalen Prozessablauf. Eine Aktivität, die aufgrund eines seltenen Ereignisses außergewöhnlich lange dauerte, kann die Durchschnittswerte stark beeinflussen.

• Ausreißer ermitteln: Markieren Sie Dauern, die deutlich außerhalb des üblichen Bereichs für den jeweiligen Schritt liegen.
• Über das Beibehalten entscheiden: Eine echte Ausnahme, etwa ein seltener, aber kritischer Fehler, kann eine wichtige Erkenntnis liefern und sollte oft erhalten bleiben. Ein Datenfehler dagegen nicht. Entfernen Sie nur fehlerhafte Daten, nicht bloß unbequeme.

7. Ereignisreihenfolge prüfen

Sind Ereignisse falsch angeordnet, bildet das Tool den Ablauf nicht korrekt ab.

• Reihenfolge prüfen: Die Ereignisse jedes Cases sollten der Reihenfolge der Timestamps folgen. Steht im selben Case „Bestellung genehmigt“ vor „Bestellung erstellt“, müssen die Timestamps überprüft werden.
• Nach Timestamp sortieren: Sortieren Sie die Ereignisse jedes Cases vor dem Upload nach der Timestamp-Spalte.

8. Große Datensätze verarbeiten

Große Exporte lassen sich nur langsam aufbereiten und hochladen. Planen Sie daher von Anfang an mit der Datenmenge, statt später dagegen anzukämpfen.

• Mit einer Stichprobe prüfen, für die Analyse vollständig laden: Eine repräsentative Stichprobe reicht aus, um zu prüfen, ob die exportierten Ereignisse plausibel sind. Laden Sie den vollständigen Export, wenn die Analyse ihn erfordert.
• Schrittweise laden: Ergänzen Sie neue Zeiträume mit inkrementellen (Delta-)Uploads, statt alle Daten zu ersetzen.
• Spaltenorientierte Formate bevorzugen: Parquet- und ORC-Dateien sind kleiner und lassen sich bei großen Datenmengen schneller hochladen als CSV- oder Excel-Dateien. Weitere Informationen finden Sie unter Unterstützte Datenformate.

9. Sensible Daten schützen

Event Logs enthalten Namen, Adressen, Kundennummern und Benutzer-IDs. Behandeln Sie den Export daher als personenbezogene Daten.

• Anonymisieren oder maskieren: Entfernen oder maskieren Sie Daten, die für die Analyse nicht benötigt werden. Behalten Sie Benutzer-IDs nur dann bei, wenn sie für die Ressourcenanalyse relevant sind.
• Zugriff beschränken: Geben Sie den Export nur so wenigen Personen wie möglich und nur bei Bedarf. Beschränken Sie den Zugriff auf hochgeladene Datensätze außerdem rollenbasiert.
• Geltende Vorschriften einhalten: Berücksichtigen Sie Aufbewahrungsfristen, die Verschlüsselung bei der Übertragung und Speicherung sowie Vorschriften wie die DSGVO für Kundendaten.

10. Event Log erstellen

Sobald die Daten bereinigt, einheitlich und korrekt sortiert sind, erstellen Sie das Event Log, den primären Datensatz für Process Mining. Jedes Event Log benötigt:

• Case-ID: eine eindeutige Kennung für jede Prozessinstanz.
• Aktivität: den Namen des ausgeführten Schritts.
• Timestamp: den Zeitpunkt des Ereignisses, anhand dessen die Reihenfolge festgelegt wird.

Optionale Spalten liefern zusätzlichen Kontext: etwa die Ressource (Person oder Team), die Abteilung, die Kosten oder ein beliebiges benutzerdefiniertes Attribut, nach dem Sie den Prozess aufschlüsseln möchten. Alle Anforderungen finden Sie unter Unterstützte Datenformate.

11. Datensatz validieren

Prüfen Sie, ob der Datensatz den Prozess tatsächlich abbildet, den Sie analysieren möchten, bevor Sie sich auf die Ergebnisse verlassen.

• Einzelne Cases stichprobenartig prüfen: Verfolgen Sie einige Prozessinstanzen von Anfang bis Ende und prüfen Sie, ob die Ereignisabfolgen plausibel sind.
• Testanalyse durchführen: Analysieren Sie den Prozess einmal und achten Sie auf offensichtliche Unstimmigkeiten, etwa nie ausgeführte Aktivitäten, einen unplausiblen Start oder End Event sowie Cases, die eigentlich abgeschlossen sein sollten.
• Mit den Prozessverantwortlichen abgleichen: Fachleute können schnell beurteilen, ob die Daten den tatsächlichen Arbeitsablauf widerspiegeln.

Daten in ProcessMind bereinigen

Viele der oben beschriebenen Aufbereitungsschritte können Sie nach dem Upload direkt in ProcessMind erledigen:

• Spalten zuordnen und konfigurieren: Legen Sie Anzeigenamen, Datentypen und Timestamp-Formate unter Datensatzattribute fest, statt die Quelldatei zu überarbeiten.
• Datenqualität prüfen: Das Dashboard Datenqualität weist auf fehlende Werte und Unstimmigkeiten hin, damit Sie diese vor der Analyse beheben können. Außerdem schlägt die Funktion KI-Datenempfehlungen Zuordnungen und Korrekturen vor.
• Nicht relevante Daten ausblenden oder filtern: Blenden Sie Spalten unter Datensatzattribute aus und schließen Sie nicht benötigte Ereignisse mit Filtern aus.
• Daten neu laden statt erneut hochladen: Ersetzen Sie Daten direkt oder verwenden Sie bei stetig wachsenden Datensätzen inkrementelle (Delta-)Uploads.

Für die Bereinigung außerhalb von ProcessMind eignen sich allgemeine Tools wie Python/Pandas, Excel, Google Sheets, ETL-Tools oder OpenRefine. Sie können die Daten damit vor dem Upload aufbereiten. Den umfassenderen Leitfaden zu Benennung, Formaten, inkrementellem Laden und Archivierung finden Sie unter ETL für Process Mining.

Verwandte Themen

• Datenquellen: So exportieren Sie aus Ihren Systemen eine Zeile pro Prozessschritt
• Unterstützte Datenformate: Dateitypen und Anforderungen an die Struktur
• Datenqualität: Was der Qualitäts-Badge prüft
• Probleme mit Daten beheben: Lösungen für typische Symptome
• ETL für Process Mining: Der umfassendere Leitfaden zur Datenaufbereitung