ETL-Tools für Process Mining

ETL für Process Mining

Process Mining hängt von Daten aus mehreren Systemen ab. Damit ist ETL ein entscheidender Schritt. ETL steht für Extract, Transform, Load. Dabei werden Daten aus Quellsystemen extrahiert, für die Analyse transformiert und in ein Data Warehouse oder eine Process-Mining-Plattform geladen. Dieser Workflow hilft Ihnen, Daten zu erfassen, zu bereinigen, zu strukturieren und für zuverlässige Erkenntnisse über Prozesse aufzubereiten.

So setzen Sie ETL effektiv für Process Mining ein.

Globaler Ansatz

Die wichtigste Regel ist einfach: Beginnen Sie nicht vorschnell mit der Datenextraktion. Sie kostet Zeit und Geld.

Definieren Sie zunächst Ihre Projektziele und ermitteln Sie die Prozesse, die Sie analysieren möchten. Wählen Sie einen Prozess aus und erstellen Sie mit einem BPMN-Modell eine erste Übersicht. Ergänzen Sie das Modell entsprechend Ihren Projektzielen um Daten. Beginnen Sie mit leicht verfügbaren Daten, etwa Excel-Dateien, einfach exportierbaren Daten oder Daten, die bereits für andere Analysen verwendet werden. Ermitteln Sie anschließend Datenlücken und extrahieren Sie nur die Daten, die Sie zur Erreichung Ihrer Ziele benötigen. Widerstehen Sie dem Impuls, alles „für alle Fälle“ zu sammeln. Zu viele Daten bremsen Sie aus. Wie schnell Sie Ihren Zyklus zur kontinuierlichen Verbesserung durchlaufen, hängt oft stärker von der Datenerfassung als von der Umsetzung ab.

Beginnen Sie mit einfachen Datei-Uploads. Automatisieren Sie das Laden von Daten erst, wenn es sinnvoll ist, etwa wenn sich Daten häufig ändern und Sie eine kontinuierliche Analyse benötigen. In vielen Fällen bietet eine statische Analyse mehr Stabilität. Für welchen Ansatz Sie sich auch entscheiden, er sollte Sie nicht ausbremsen. Daten vierteljährlich in wenigen Minuten hochzuladen ist besser, als wochenlang die Automatisierung einzurichten und anschließend festzustellen, dass die Daten falsch oder für Ihren Anwendungsfall unzureichend sind.

Welche Daten benötigen Sie?

Für Process Mining benötigen Sie drei Datenpunkte: eine Case-ID, einen Timestamp und eine Aktivität. Zusätzliche Daten wie Kosten, Benutzer, Team oder CO2-Fußabdruck können Ihrer Analyse mehr Kontext geben. Sie können außerdem weitere Dimensionen für Diagramme und zusätzliche Messgrößen für Kennzahlen einbeziehen.

Process-Mining-Daten zu beschaffen ist meist unkompliziert, da die erforderlichen Felder häufig vorhanden sind. Schwieriger kann es sein, einen einzelnen Datensatz mit allen benötigten Daten zu erstellen. Um separate Datenquellen in einer Datei zusammenzuführen und zu standardisieren, sind möglicherweise umfangreiche Transformationen erforderlich.

Sie benötigen nicht alles auf einmal. Beginnen Sie mit dem, was Ihnen bereits vorliegt.

Welches Datenformat benötigen Sie?

Obwohl fortgeschrittene Datenformate verfügbar sind, arbeiten die meisten Tools weiterhin mit einfachen Textdateien. Verwenden Sie kommagetrennte (CSV) oder tabulatorgetrennte (TSV/TXT) Dateien. Vermeiden Sie Textdateien mit fester Feldbreite, da die meisten Tools sie nicht verarbeiten können.

Jede Datei sollte mit einer Kopfzeile beginnen. Darauf folgen Datenzeilen, deren Felder und Reihenfolge mit der Kopfzeile übereinstimmen.

Wenn Sie nicht englische Zeichen benötigen, verwenden Sie die UTF-8-Kodierung. Achten Sie darauf, dass Felder keine Trennzeichen oder Zeilenumbruchzeichen enthalten. Sie können Felder in Anführungszeichen setzen, sollten jedoch Anführungszeichen innerhalb von Feldern vermeiden. Ersetzen Sie eingebettete Anführungszeichen bei Bedarf durch ein anderes Zeichen, um die Verarbeitung zu vereinfachen.

Leicht verfügbare Daten

Listen Sie zunächst die Daten auf, auf die Sie einfach zugreifen können. Berücksichtigen Sie folgende Quellen:

• Monatliche oder wöchentliche Excel-Berichte mit Rohdaten. Formatieren Sie die Daten bei Bedarf in Excel neu.
• Process-Mining-Daten aus anderen Tools, die häufig keine zusätzliche Vorverarbeitung erfordern.
• Standardexporte aus Systemen wie HR-, Finanz- oder ITSM-Systemen. Exportieren Sie die Daten in einem Format, das Ihr Process-Mining-Tool unterstützt.
• Exporte aus Analyse-Tools, die die benötigten Daten auswerten. Verwenden Sie Pivot-Tabellen und Exporte, um das passende Format zu erstellen.
• Data Warehouses mit bereinigten und zusammengeführten Daten. Verwenden Sie die Warehouse-Tools, um die Daten auszuwählen und als CSV zu exportieren.

Prozesssysteme

Daten werden häufig in Systemen wie SAP, Workday, Salesforce oder ServiceNow gespeichert. Prüfen Sie zunächst, ob ein einfacher Export Ihren Anforderungen entspricht. Meist ist dies der schnellste Weg, einen Mehrwert zu schaffen. Falls nicht, verwenden Sie ETL-Tools, um Daten zu extrahieren, zu transformieren und in Ihr Process-Mining-Tool zu laden.

Je nach Organisation müssen Sie möglicherweise die IT, Systemverantwortliche oder Teams für Data Warehousing einbeziehen. Das kann die Datenerfassung verlangsamen. Umgehen Sie diese Teams dennoch nicht: Sie verfügen über etablierte Abläufe und Erfahrung, die den Prozess beschleunigen können. Arbeiten Sie in einer agilen Schleife mit ihnen zusammen. Beginnen Sie mit den verfügbaren Daten und vermeiden Sie es, alles auf einmal anzufordern, da dies zu Verzögerungen führen kann.

Fordern Sie die Daten zunächst im Textformat an. Automatisieren Sie den Prozess später über die API Ihres Process-Mining-Tools oder integrierte ETL-Tools.

Integrierte ETL-Tools in Process-Mining-Tools

Wir raten grundsätzlich davon ab, integrierte ETL-Tools von Process-Mining-Anbietern zu verwenden. Sie wirken zwar praktisch, haben jedoch erhebliche Einschränkungen:

• Geringere Qualität als dedizierte ETL-Tools.
• Proprietäre Technologie statt Industriestandards wie SQL. Dadurch steigt der Schulungsaufwand und Fachwissen ist schwerer verfügbar.
• Abhängigkeit vom Anbieter, wodurch ein Wechsel des Tools erschwert wird.
• Datensilos, die die Wiederverwendung in anderen Analyse- oder KI-Projekten einschränken.

ETL-Tools von Drittanbietern

Viele ETL-Tools von Drittanbietern eignen sich für Process Mining. Process Mining erfordert zwar bestimmte Daten, die zugrunde liegenden Vorgänge sind jedoch standardisiert.

Bevorzugen Sie SQL-basierte Tools, damit Sie ETL-Logik wiederverwenden und langfristig pflegen können. Setzen Sie vorhandene Tools ein, um Verzögerungen oder Projektblockaden durch die Einführung neuer Technologie zu vermeiden.

Zu den gängigen ETL-Tools von Drittanbietern für Process Mining gehören:

• CData: Hervorragend für die Datenextraktion und häufig in Kombination mit anderen Tools eingesetzt.
• dbt: Ein SQL-basiertes Transformations-Tool mit Funktionen für die Verarbeitung umfangreicher Transformationen.
• BigQuery: Ein verwaltetes Data Warehouse von Google für schnelle SQL-Abfragen großer Datenmengen.
• Snowflake: Eine cloudbasierte Plattform für skalierbare Speicherung und Rechenleistung, die für Transformationen und Analysen eingesetzt wird.
• DataBricks: Eine einheitliche Analyseplattform, die Data Engineering, Machine Learning und Analysen verbindet.
• Talend: Ein grafisches ETL-Tool, das verschiedene Datenquellen unterstützt.
• Apache Nifi: Ein Open-Source-ETL-Tool zur Automatisierung von Datenflüssen und zur Verarbeitung von Daten in Echtzeit.

Spezialisierte ETL-Tools für Process Mining

Spezialisierte ETL-Tools für Process Mining verbinden die Vorteile von ETL-Tools von Drittanbietern mit Funktionen und Templates für Process Mining.

Beispiele sind:

• Evidant: Data Transform Refinery. Konzentriert sich auf die Extraktion und Transformation von Process-Mining-Daten in großem Umfang.
• Konekti: Für die schnelle Erstellung präziser Prozessdatenmodelle entwickelt.

Daten nach dem Laden verwalten

Die Extraktion ist nur die halbe Datenverwaltung. Wie Sie die Datensätze anschließend organisieren, entscheidet darüber, ob die Analyse verlässlich bleibt.

• Benennen Sie Datensätze nach ihrem Inhalt. Q1_2025_Sales_Data oder Customer_Support_Logs ist aussagekräftiger als export_final_v3. Verwenden Sie Farben, um zusammengehörige Datensätze zu gruppieren, und geben Sie einem Datensatz einen prozessspezifischen Namen, wenn er eine bestimmte Rolle erfüllt.
• Wählen Sie das passende Format. CSV oder Excel eignen sich für kleine und mittlere Dateien, die Sie manuell hochladen. Parquet oder ORC lohnen sich bei großen Datensätzen und automatisierten Pipelines.
• Prüfen Sie die Vorschau vor der Analyse. Kontrollieren Sie Struktur, Spaltentypen und einige Zeilen vor der Zuordnung. Bestätigen Sie außerdem die für Process Mining erforderlichen Spalten: Case-ID, Aktivität und Timestamp (die Process-Mining-Felder).
• Ordnen Sie bewusst zu. Lassen Sie die automatische Zuordnung den ersten Durchlauf erledigen und bearbeiten Sie anschließend die nicht zugeordneten Aktivitäten. Dort verbergen sich häufig die interessanten Prozessschritte. Schritte, die tatsächlich stattfinden, aber keine Spur in den Daten hinterlassen, können als Datenfluss markiert werden. So bleiben sie sichtbar, ohne die Kennzahlen zu verfälschen.
• Erweitern Sie Daten, statt sie zu ersetzen. Verwenden Sie bei wiederkehrenden Exporten inkrementelles Laden, um neue Zeilen anzuhängen, anstatt die gesamte Datei erneut hochzuladen.
• Kombinieren oder trennen Sie mit Bedacht. Datensätze mit gemeinsamen Attributen können für Simulation und Analyse zu einer Ansicht zusammengeführt werden. Datensätze mit deutlichen Unterschieden sollten Sie dagegen getrennt halten und mit eigenen Attributen für die Filterung versehen.
• Halten Sie Filter und Kennzahlen gezielt. Ein Filter, der im März hilfreich war, kann das Dashboard im Juni unübersichtlich machen. Entfernen Sie Filter, sobald die zugehörige Frage beantwortet ist, und zeigen Sie nur Kennzahlen an, die tatsächlich gelesen werden.
• Steuern Sie den Zugriff und archivieren Sie anschließend. Geben Sie nur den Personen Zugriff auf einen Datensatz, die ihn benötigen, und archivieren Sie veraltete Datensätze, statt sie im aktiven Prozess zu belassen.

Fazit

ETL ist nicht das Ziel eines Process-Mining-Projekts, aber häufig erforderlich. Richten Sie Ihren ETL-Prozess so ein, dass Verzögerungen vermieden werden:

• Verwenden Sie verfügbare Daten.
• Beginnen Sie mit manuellen Uploads und automatisieren Sie den Prozess, sobald es sinnvoll ist.
• Verwenden Sie vorhandene Tools, vorzugsweise SQL-basierte Lösungen.

Beginnen Sie vor allem mit einem kleinen Umfang und den Daten, die Sie tatsächlich benötigen. Erweitern Sie den Umfang anschließend schrittweise. Wenn Sie von Anfang an alles erfassen möchten, kann das Ihr Projekt ausbremsen.