ETL-Tools für Process Mining: Darauf kommt es an

Benötigen Sie ETL für Process Mining?

ETL-Tools extrahieren Daten aus Quellsystemen, bereiten sie für die Analyse auf und laden sie in das Zielsystem. Dieser Artikel zeigt, welche ETL-Arbeiten ein Process-Mining-Projekt tatsächlich erfordert und wann Sie darauf verzichten können. Es geht nicht um den Kauf von Datenpipelines. Kann ein System die Datensätze exportieren und enthält die Datei eine Case-ID, eine Aktivität und einen Timestamp, können Sie für eine erste Analyse oft auf eine Pipeline verzichten und den Export direkt laden.

Die Antwort hängt vom Prozess, den beteiligten Systemen und der erforderlichen Aktualisierungshäufigkeit der Analyse ab. Beginnen Sie mit dem kleinsten Export, der eine konkrete Frage beantworten kann. Ergänzen Sie Datenaufbereitung und Automatisierung, wenn die erste Analyse zeigt, dass Sie beides benötigen.

In drei Fällen lohnt sich ETL-Arbeit:

• Der Prozess umfasst mehrere Systeme. Datensätze müssen verknüpft und ihre Kennungen aufeinander abgestimmt werden, bevor sich ein Case durchgängig verfolgen lässt.
• Die Quelldaten lassen sich nicht direkt auswerten. Aktivitätsnamen, Timestamps oder Case-Kennungen müssen vereinheitlicht werden, bevor sie sich analysieren lassen.
• Der Export muss regelmäßig wiederholt werden. Wenn sich die Daten täglich ändern und die Analyse aktuell bleiben muss, ist ein manueller Export nicht mehr praktikabel.

Das sind Gründe für die Datenaufbereitung, aber kein Grund, vor der ersten beantworteten Frage eine Pipeline aufzubauen. Laden Sie, was verfügbar ist, prüfen Sie, was fehlt, und entscheiden Sie dann über die nächsten Schritte.

Auf eine separate Datenpipeline können Sie auch verzichten, wenn:

• Der Prozess wird größtenteils in einem System erfasst.
• Die relevanten Datensätze lassen sich exportieren.
• Der Export enthält eine Case-ID, eine Aktivität und einen Timestamp.
• Die Datei ist klein genug, um sie manuell aufzubereiten.
• Sie prüfen noch, ob die Daten Ihre Frage beantworten.

Eine Tabellenkalkulation eignet sich gut, um Spalten umzubenennen, offensichtliche Unstimmigkeiten zu beheben und nicht benötigte Felder zu entfernen. Die manuelle Aufbereitung muss nicht dauerhaft bleiben: Sobald sich die Analyse bewährt hat und die Daten häufig aktualisiert werden müssen, automatisieren Sie die Schritte, die Sie wiederholt ausführen.

Was der Export enthalten muss

Ein Process-Mining-Event-Log benötigt drei Felder und eine Zeile pro Ereignis.

Attribute wie Kosten, Benutzer, Team, Kundensegment oder CO2-Fußabdruck sind optional. Sie machen aus einer Prozessansicht eine Analyse: Jedes beibehaltene Attribut wird später zu einem Filter, einer Aufschlüsselung oder einem Messwert. Die Referenz zu Datensatzattributen erläutert, wofür die einzelnen Felder verwendet werden können.

Ein Feld kann in der Quelle vorhanden und trotzdem unbrauchbar sein. Ändert sich eine Case-ID zwischen Systemen, lassen sich Ereignisse nicht verknüpfen. Uneinheitliche Aktivitätsbezeichnungen machen aus einem tatsächlichen Schritt drei. Wird ein Timestamp als Text gespeichert, kann die Reihenfolge der Ereignisse falsch sein. Prüfen Sie den Export, bevor Sie die Felder zuordnen, und kontrollieren Sie zuerst die drei Pflichtfelder. Was ein Event Log insgesamt enthalten muss, erfahren Sie unter Welche Daten Process Mining benötigt.

Eine minimale Abfrage für ein Event Log

Wenn die Quelle bereits eine Zeile pro Aktivität enthält, genügt eine SELECT-Abfrage. Dieses Beispiel setzt eine Tabelle namens process_events mit Case, Aktivität und Ereigniszeit voraus:

SELECT
  case_id        AS case_id,
  activity_name  AS activity,
  event_time     AS timestamp
FROM process_events
WHERE case_id IS NOT NULL
  AND activity_name IS NOT NULL
  AND event_time IS NOT NULL
ORDER BY case_id, event_time;

Die Abfrage benennt die drei Felder, entfernt unbrauchbare Zeilen und sortiert die Ereignisse innerhalb jedes Cases. Passen Sie Tabellen- und Spaltennamen an Ihre Quelle an und prüfen Sie vor dem Laden einige Cases: Jeder Case sollte die erwarteten Ereignisse in einer Reihenfolge enthalten, die den Mitarbeitenden vertraut ist.

Welche Transformationsschritte sind wichtig?

Die Transformation sollte beheben, was die Analyse sonst verfälschen würde. In den meisten Fällen reichen vier Schritte.

1. Ereignisse vereinheitlichen

   Legen Sie jedes Vorkommen einer Aktivität in eine eigene Zeile mit Case-ID und Timestamp, auch wenn die Quelle Prozessschritte in separaten Spalten speichert.

2. Timestamps nutzbar machen

   Prüfen Sie, ob die Werte gültige Datums- und Zeitangaben sind und ob sie die Ortszeit oder UTC darstellen. Stimmen Sie die Zeitzonen der kombinierten Quellen aufeinander ab, sonst ist die Ereignisreihenfolge falsch.

3. Aktivitätsnamen vereinheitlichen

   Verwenden Sie für jeden tatsächlichen Schritt eine einheitliche Bezeichnung, Sprache und Schreibweise. Fassen Sie Schritte nicht zusammen, nur weil sie ähnlich aussehen und die Liste dadurch kürzer wird.

4. Quellen nur bei Bedarf verknüpfen

   Ermitteln Sie den Schlüssel, der die Datensätze verknüpft, und prüfen Sie, ob er übereinstimmt. Wenn eine Verknüpfung Ereignisse dupliziert oder Cases entfernt, verändert sich die Prozessansicht. Vergleichen Sie daher die Anzahl der Datensätze vor und nach der Verknüpfung.

Wenn der Export bereits eine Zeile pro Ereignis und alle drei erforderlichen Felder enthält, ist keine Transformation nötig. Das ist ein normales Ergebnis, keine Abkürzung. So erstellen Sie ein Process-Mining-Event-Log behandelt dieselben Grundlagen anhand von Beispielen in Excel und SQL.

Wohin sollte das Event Log geladen werden?

Laden Sie die aufbereiteten Daten in die Plattform, auf der Sie sie analysieren. Für einen ersten Einblick genügt eine einzelne Datei: Bereiten Sie sie auf, laden Sie sie hoch, prüfen Sie die Prozessansicht und passen Sie den Datenexport an, sobald Sie sehen, welche Auswertungen die Daten ermöglichen. Richten Sie nicht eigens für Process Mining eine neue Speicherebene ein. Wenn Ihr Team bereits ein Data Warehouse oder einen Data Lake betreibt, lassen Sie die Daten dort und laden Sie die Ergebnisse aus dieser Umgebung hoch.

Auf der Seite zu den unterstützten Datenformaten finden Sie weitere Einzelheiten. Dieselben Formate lassen sich über einen geplanten Job auch über die Daten-API übertragen, wenn niemand die Dateien manuell hochladen soll.

Ein geladenes Dataset wird mit dem Modell verknüpft. Das Panel zeigt die enthaltenen Cases und kennzeichnet noch nicht zugeordnete Aktivitäten. Source: ProcessMind

Unabhängig davon, welchen Weg Sie wählen: Die Daten sollten dort ankommen, wo die Analyse stattfindet. Eine Datei in einem Ordner, den niemand überwacht, ist keine Datenstrategie. Ein Dataset, das jemand zuordnet und prüft, schon.

Welche ETL-Tools eignen sich für Process Mining?

Es gibt keine ETL-Tool-Liste, die für jedes Projekt passt. Entscheidend ist, wo die Daten liegen, welche Tools Ihr Team bereits einsetzt und wie stark das Log aufbereitet werden muss. Die Arbeit selbst ist gewöhnliche Datenverarbeitung. Für Process Mining müssen lediglich Case-ID, Aktivität und Timestamp in den Ausgabedaten erhalten bleiben.

In Process-Mining-Projekten werden häufig folgende Anbieter genannt: CData und dbt für Datenextraktion und SQL-Transformationen, BigQuery, Snowflake und Databricks im Bereich Data Warehouse sowie Talend, Apache NiFi und Airbyte, wenn die Übertragung zwischen Systemen die größte Herausforderung ist. Auch Open-Source-Lösungen kommen infrage. NiFi und Airbyte sind dafür häufige Einstiegspunkte. Einige Anbieter, darunter Evidant und Konekti, bieten ETL speziell für Process Mining mit Templates für gängige Systeme an.

Das sind Beispiele, keine Empfehlungen, und es besteht keine Partnerschaft mit diesen Anbietern. Setzen Sie bevorzugt Tools und Formate ein, die Ihr Team auch nach dem Projekt warten kann. Wenn möglich, sollte die Transformationslogik außerhalb des Process-Mining-Produkts liegen. Integriertes ETL sollten Sie besonders sorgfältig abwägen: Es ist praktisch, solange Sie auf der Plattform bleiben, doch Ihre Datenaufbereitung lässt sich dann möglicherweise schwerer für das nächste Analyse- oder KI-Projekt wiederverwenden.

Wie verwalten Sie die Daten nach dem Upload?

Die Extraktion ist nur die halbe Arbeit. Wie Sie die Datasets anschließend verwalten, entscheidet darüber, ob die Analyse auch ein Quartal später noch aussagekräftig ist.

• Benennen Sie Datasets nach ihrem Inhalt. Q1_2025_Sales_Data oder Customer_Support_Logs ist aussagekräftiger als export_final_v3.
• Wählen Sie das passende Format. Für kleine Dateien, die Sie manuell hochladen, reichen CSV oder Excel. Bei großen Datasets und Daten aus einer Pipeline lohnen sich Parquet oder ORC.
• Prüfen Sie die Vorschau, bevor Sie zuordnen. Kontrollieren Sie die Struktur, die Spaltentypen und einige Zeilen. Vergewissern Sie sich in der Dataset-Konfiguration, dass Case-ID, Aktivität und Timestamp korrekt festgelegt sind.
• Prüfen Sie die Aktivitätszuordnung. Lassen Sie die automatische Zuordnung den ersten Durchgang erledigen und bearbeiten Sie anschließend die nicht zugeordneten Aktivitäten. Schritte, die stattfinden, aber keine Datenspur hinterlassen, können als Datenfluss gekennzeichnet werden. So bleiben sie sichtbar, ohne die Kennzahlen zu verändern.
• Aktualisieren Sie die Daten, statt alles neu aufzubauen. Ersetzen Sie bei wiederkehrenden Exporten das Dataset im benötigten Rhythmus, täglich oder wöchentlich, durch die aktuelle Datei und behalten Sie dieselbe Zuordnung bei.
• Halten Sie fest, was die Daten nicht abdecken. Fehlende Zeiträume, Systeme und Schritte gehören in die Analysehinweise. Sie bestimmen, welche Aussagen Sie am Ende treffen können.
• Regeln Sie den Zugriff und archivieren Sie anschließend. Gewähren Sie den Personen Zugriff auf das Dataset, die ihn benötigen, und archivieren Sie abgeschlossene Projekte, für die keine Daten mehr verwendet werden.

Das Wichtigste auf einen Blick

ETL ist ein Mittel zum Zweck, nicht das Ziel eines Process-Mining-Projekts. Richten Sie es so ein, dass es die erste Analyse nicht verzögert:

• Beginnen Sie mit den Daten, die Sie diese Woche beschaffen können.
• Erhalten Sie die drei erforderlichen Felder, auch wenn Sie andere Daten weglassen.
• Laden Sie zuerst den Export hoch und automatisieren Sie den Upload erst, wenn die Analyse den Aufwand rechtfertigt.
• Verwenden Sie Tools und Formate, die Ihr Team bereits wartet.

Projekte scheitern häufiger daran, dass die Pipeline gebaut wurde, bevor die zu beantwortende Frage feststand, als daran, dass sie zu einfach war.