Auf dieser Seite

> ressourcen > dokumentation > prozess mining daten > Datenbereinigung und vorbereitung für Process Mining

Datenbereinigung und -vorbereitung für Process Mining

Process Intelligence Process Intelligence Verfügbar ab einem Process-Intelligence-Sitzplatz. Nur Sitzplätze dieses oder eines höheren Tarifs können diese Funktion verwenden. Tarife vergleichen Verfügbar ab einem Process-Intelligence-Sitzplatz

Effektives Process Mining beginnt mit hochwertigen Daten. Der größte Teil der Arbeit dreht sich um dieselben wenigen Probleme: nicht aufgezeichnete Events, nicht übereinstimmende Kennungen zwischen Systemen, unterschiedliche Formate sowie Exporte, die zu groß oder zu sensibel für eine unbedachte Verarbeitung sind. Diese Seite führt Sie durch diese Probleme und die passenden Lösungen. Wenn Sie dieselbe Arbeit in ProcessMind erledigen möchten, lesen Sie Dataset konfigurieren und Datenqualität.

Warum sind Datenbereinigung und -vorbereitung wichtig?

Process Mining basiert auf Event Logs, also Datensätzen mit der detaillierten Abfolge von Aktivitäten innerhalb eines Geschäftsprozesses. Sind diese Datensätze unvollständig, uneinheitlich oder fehlerhaft, sind auch die daraus gewonnenen Erkenntnisse unzuverlässig. Saubere und korrekt strukturierte Daten ermöglichen es dem Tool, Workflows abzubilden, Engpässe zu erkennen und Verbesserungsbereiche hervorzuheben.

Wichtige Schritte bei Datenbereinigung und -vorbereitung

1. Daten aus allen beteiligten Systemen erfassen

Daten stammen meist aus mehreren Systemen: aus einem ERP für Bestellungen und Rechnungen, aus einem CRM für Kundenschritte und aus einem Service Desk für Tickets. Erfassen Sie die Daten aus allen Systemen, bevor Sie mit der Bereinigung beginnen. Ein Schritt aus einem nicht berücksichtigten System lässt sich später nicht wiederherstellen.

Datenquellen zusammenführen: Listen Sie die Systeme auf, die Teile des Prozesses erfassen, und extrahieren Sie die Daten aus jedem dieser Systeme. Ein Order-to-Cash-Prozess erstreckt sich beispielsweise über ein Vertriebssystem (etwa Salesforce) und ein Finanzsystem (etwa SAP).
Datensilos auflösen: Stimmen Sie mit den Prozessverantwortlichen ab, welche Systeme berücksichtigt werden und wer Daten aus ihnen exportieren darf. Fehlende Daten stammen meist aus einem nicht berücksichtigten System und nicht aus einer fehlerhaften Abfrage. Integrationstools wie Apache NiFi, Talend, Informatica oder Power BI können mehrere Quellen in einer Datei zusammenführen.
Nicht extrahierbare Daten einplanen: Wenn ein Schritt außerhalb von Systemen stattfindet, etwa eine telefonische Genehmigung oder eine Unterschrift auf Papier, erfassen Sie zumindest das Ergebnis in einem digitalen System oder modellieren Sie den Schritt, damit die Prozessansicht vollständig bleibt. Datenquellen beschreibt die Beschaffung nach Systemen geordnet.

2. Duplikate entfernen

Doppelte Datensätze verfälschen die Analyse, weil sie Aktivitätszahlen erhöhen und ein Event wie mehrere Events erscheinen lassen. Ermitteln Sie Duplikate anhand identischer Case-ID, Aktivität und Timestamps. Entfernen Sie sie anschließend oder führen Sie sie zu einer Zeile zusammen.

3. Fehlende Daten behandeln

Fehlende Timestamps, Aktivitäten oder Case-IDs unterbrechen die Abfolge der Events und führen zu unvollständigen Prozessmodellen.

Fehlende Werte ermitteln: Suchen Sie nach leeren Timestamps, fehlenden Aktivitätsnamen und Nullwerten bei Case-IDs.
Lücken schließen: Verwenden Sie nach Möglichkeit andere Quellen oder Fachwissen. Fehlt ein Timestamp, können die Zeitpunkte der umliegenden Events den möglichen Zeitpunkt eingrenzen.
Modellieren statt erfinden: Fügen Sie Schritte, die überhaupt nicht aufgezeichnet wurden, durch Prozessmodellierung hinzu, statt Timestamps zu erfinden. So stimmen der analysierte und der dokumentierte Prozess überein.
Ersetzen oder entfernen: Verwenden Sie bei kritischen Lücken eine Imputationstechnik, etwa die Ersetzung durch den Mittelwert oder ein Regressionsmodell. Kann ein Case nicht wiederhergestellt werden, entfernen Sie ihn und dokumentieren Sie den Grund.

4. Formate, IDs und Namen vereinheitlichen

Timestamps: Verwenden Sie überall dasselbe Format, zum Beispiel YYYY-MM-DD HH:MM:SS. Wenn der Export mehrere Zeitzonen enthält, konvertieren Sie alle Zeitangaben in UTC. Liste der unterstützten Datumsformate
Case-IDs: Derselbe Prozess verwendet in verschiedenen Systemen häufig unterschiedliche Kennungen, etwa eine Bestellnummer im CRM und eine Rechnungsnummer im Finanzsystem. Erstellen Sie eine Zuordnung zwischen diesen Kennungen, entweder im Export oder als Nachschlagetabelle, damit jedes Event einem Case zugeordnet wird. Vergeben Sie für jede Prozessinstanz eine eindeutige ID. Prüfen Sie in ProcessMind, ob die Spalte für die Case-ID in jedem kombinierten Dataset gleich zugeordnet ist. Siehe Dataset-Attribute.
Aktivitätsnamen: Systeme bezeichnen denselben Schritt unterschiedlich. Legen Sie für jeden Schritt eine einheitliche Bezeichnung fest. „Approve Order“ und „Order Approval“ bezeichnen beispielsweise dieselbe Aktivität.
Werte und Datentypen: Speichern Sie Zahlen als Zahlen, etwa Kosten, Dauern und Beträge, und verwenden Sie pro Spalte dieselbe Einheit.

5. Irrelevante Events entfernen

Nicht jedes aufgezeichnete Event gehört zu dem von Ihnen analysierten Prozess. Systemanmeldungen, technische Wiederholungen und administrative Aufgaben überladen die Darstellung, ohne zusätzliche Erkenntnisse zu liefern.

Nicht zugehörige Daten herausfiltern: Entscheiden Sie anhand Ihres Fachwissens, welche Events den Prozess beschreiben, und schließen Sie die übrigen aus.
Die richtige Granularität wählen: Zu grobe Events wie „Auftrag bearbeitet“ verbergen die gesuchten Varianten, während zu feine Events die Darstellung mit technischen Details überladen. Gruppieren Sie Ereignisse auf niedriger Ebene zu der zugehörigen Geschäftsaktivität. Die Prozessverantwortlichen legen fest, wo die Grenze verläuft.

6. Ausreißer und Rauschen behandeln

Ausreißer vermitteln ein ungenaues Bild des normalen Prozessablaufs. Eine Aufgabe, die aufgrund eines seltenen Ereignisses außergewöhnlich lange gedauert hat, kann beispielsweise die Durchschnittswerte dominieren.

Ausreißer ermitteln: Markieren Sie Dauern, die deutlich außerhalb des normalen Bereichs für diesen Schritt liegen.
Entscheiden, ob sie beibehalten werden: Eine echte Ausnahme, also ein seltener, aber kritischer Fehler, kann eine wichtige Erkenntnis liefern und sollte häufig beibehalten werden. Ein Datenfehler hingegen nicht. Entfernen Sie nur fehlerhafte Daten, nicht lediglich unbequeme Daten.

7. Reihenfolge der Events prüfen

Wenn Events nicht in der richtigen Reihenfolge vorliegen, verfolgt das Tool den falschen Ablauf.

Abfolge validieren: Die Events jedes Cases sollten den Timestamps folgen. Ein Event „Order Approved“ vor „Order Created“ im selben Case weist darauf hin, dass die Timestamps geprüft werden müssen.
Nach Timestamp sortieren: Sortieren Sie die Events jedes Cases vor dem Upload anhand der Timestamp-Spalte.

8. Große Datensätze verarbeiten

Große Exporte lassen sich langsamer vorbereiten und hochladen. Planen Sie daher die Datenmenge ein, statt sie nachträglich zu bekämpfen.

Zum Erkunden Stichprobe verwenden, zur Analyse vollständig laden: Eine repräsentative Stichprobe reicht aus, um zu prüfen, ob die extrahierten Events plausibel sind. Laden Sie den vollständigen Export, wenn die Analyse ihn benötigt.
Schrittweise laden: Hängen Sie neue Zeiträume mit inkrementellen Delta-Uploads an, statt alle Daten zu ersetzen.
Spaltenbasierte Formate bevorzugen: Parquet- und ORC-Dateien sind bei großen Datenmengen kleiner und lassen sich schneller hochladen als CSV- oder Excel-Dateien. Siehe Unterstützte Datenformate.

9. Sensible Daten schützen

Event Logs enthalten Namen, Adressen, Kundennummern und Benutzer-IDs. Behandeln Sie den Export daher als personenbezogene Daten.

Anonymisieren oder maskieren: Entfernen oder maskieren Sie Daten, die für die Analyse nicht benötigt werden. Behalten Sie Benutzer-IDs nur dort bei, wo eine Ressourcenanalyse erforderlich ist.
Zugriff beschränken: Geben Sie den Export nur so wenigen Personen wie möglich und ausschließlich nach dem Need-to-know-Prinzip. Nutzen Sie für hochgeladene Datasets eine rollenbasierte Zugriffskontrolle.
Geltende Vorgaben einhalten: Dazu gehören Aufbewahrungsfristen, Verschlüsselung bei der Übertragung und Speicherung sowie Vorschriften wie die DSGVO für Kundendaten.

10. Das Event Log erstellen

Sobald die Daten sauber, konsistent und geordnet sind, erstellen Sie das Event Log, den primären Datensatz für Process Mining. Jedes Log benötigt:

Case-ID: eine eindeutige Kennung für jede Prozessinstanz.
Aktivität: der Name des ausgeführten Schritts.
Timestamp: der Zeitpunkt des Events, der die Reihenfolge der Events festlegt.

Optionale Spalten liefern zusätzliche Details: die Ressource, also Person oder Team, die Abteilung, die Kosten oder jedes benutzerdefinierte Attribut, nach dem Sie den Prozess aufschlüsseln möchten. Die vollständigen Anforderungen finden Sie unter Unterstützte Datenformate.

11. Dataset validieren

Prüfen Sie vor der Verwendung der Ergebnisse, ob das Dataset tatsächlich den von Ihnen erwarteten Prozess abbildet.

Cases stichprobenartig prüfen: Gehen Sie einige Prozessinstanzen von Anfang bis Ende durch und prüfen Sie, ob die Event-Abfolgen plausibel sind.
Testanalyse ausführen: Analysieren Sie den Prozess einmal und achten Sie auf offensichtliche Unstimmigkeiten, etwa Aktivitäten, die nie stattfinden, einen unplausiblen Start oder End Event oder Cases, die bereits abgeschlossen sein sollten.
Mit den Prozessverantwortlichen abgleichen: Fachexperten können innerhalb weniger Minuten beurteilen, ob die Daten den tatsächlichen Arbeitsablauf abbilden.

Daten in ProcessMind bereinigen

Viele der oben beschriebenen Vorbereitungsschritte können Sie nach dem Upload in ProcessMind erledigen:

Spalten zuordnen und konfigurieren: Legen Sie Anzeigenamen, Datentypen und Timestamp-Formate in den Dataset-Attributen fest, statt die Quelldatei neu zu bearbeiten.
Qualität prüfen: Das Datenqualitäts-Dashboard markiert fehlende Werte und Unstimmigkeiten, damit Sie sie vor der Analyse beheben können. Die KI-Datenempfehlungen schlagen außerdem Zuordnungen und Korrekturen vor.
Irrelevante Daten ausblenden oder filtern: Blenden Sie Spalten in den Dataset-Attributen aus und verwenden Sie Filter, um nicht benötigte Events auszuschließen.
Neu laden statt erneut hochladen: Ersetzen Sie Daten direkt im Dataset oder verwenden Sie inkrementelle Delta-Uploads für kontinuierlich wachsende Datasets.

Für die Bereinigung außerhalb von ProcessMind eignen sich allgemeine Werkzeuge wie Python/Pandas, Excel, Google Sheets, ETL-Tools oder OpenRefine vor dem Upload. Den umfassenderen Leitfaden zu Benennung, Formaten, inkrementellem Laden und Archivierung finden Sie unter ETL für Process Mining.