ETL für Process Mining

ETL für Process Mining

Process Mining hängt von Daten ab, die aus verschiedenen Systemen stammen, was ETL zu einer kritischen Komponente macht. ETL steht für Extract, Transform, Load und ist ein Datenintegrationsprozess, der Daten aus Quellsystemen extrahiert, bei Bedarf transformiert und in ein Data Warehouse oder ein Process-Mining-Tool lädt. Dieser Prozess ist entscheidend, um Daten für die Analyse zu sammeln, zu bereinigen, zu organisieren und vorzubereiten.

Hier ist ein Leitfaden für die effektive Durchführung von ETL für Process Mining.

Globaler Ansatz

Die wichtigste Regel: Überstürzen Sie nicht das Extrahieren von Daten. Die Datenextraktion ist sowohl teuer als auch zeitaufwendig.

Beginnen Sie mit der Definition Ihrer Projektziele und der Identifizierung der Prozesse, die Sie analysieren möchten. Wählen Sie einen Prozess, mit dem Sie beginnen und erstellen Sie ein schnelles Überblicksmodell mit einem BPMN-Modell. Fügen Sie dem Modell Daten hinzu, die zu Ihren Projektzielen passen. Beginnen Sie mit leicht verfügbaren Daten, wie Excel-Dateien, einfach exportierbaren Daten oder Daten, die bereits für andere Analysen verwendet wurden. Ermitteln Sie als Nächstes Datenlücken und extrahieren Sie nur die notwendigen Daten, um Ihre Ziele zu erreichen. Widerstehen Sie dem Drang, alle Daten ‘für den Fall der Fälle’ zu sammeln—überflüssige Daten bremsen Sie aus. Die Geschwindigkeit Ihres kontinuierlichen Verbesserungszyklus hängt oft mehr von der Datenerfassung als von der Implementierung ab.

Beginnen Sie mit einfachen Datei-Uploads. Automatisieren Sie die Datenladeprozesse nur, wenn es sinnvoll ist, wie z.B. bei häufig aktualisierten Daten und wenn kontinuierliche Analysen erforderlich sind. In vielen Fällen wird eine statische Analyse bevorzugt für Stabilität. Egal welcher Ansatz gewählt wird, lassen Sie sich nicht ausbremsen. Es ist besser, Daten vierteljährlich in wenigen Minuten hochzuladen, als Wochen mit der Automatisierung zu verbringen, nur um festzustellen, dass die Daten fehlerhaft oder unzureichend für Ihr Business Case sind.

Welche Daten werden benötigt?

Process Mining erfordert spezifische Daten: eine Fall-ID, einen Timestamp und eine Aktivität. Zusätzliche Daten, wie Kosten, Nutzer, Team oder CO2-Fußabdruck, können Ihre Analyse verbessern. Sie können auch zusätzliche Dimensionen für Diagramme oder zusätzliche Maßnahmen für Metriken einbeziehen.

Das Beschaffen einiger Process-Mining-Daten ist in der Regel einfach, da die benötigten Felder gängig sind. Allerdings kann es eine Herausforderung sein, einen Datensatz zu erstellen, der alle notwendigen Daten enthält, was oft signifikante Transformationen erfordert, um separate Teile in einer Datei zu kombinieren und zu vereinheitlichen.

Machen Sie sich keine Sorgen darum, alles auf einmal zu haben — beginnen Sie mit dem, was Sie haben.

Welches Datenformat wird benötigt?

Obwohl es fortgeschrittene Datenformate gibt, verlassen sich die meisten Tools noch auf einfache Textdateien. Verwenden Sie durch Komma getrennte (CSV) oder tabulatorgetrennte (TSV/TXT) Dateien. Vermeiden Sie Textdateien mit fester Breite, da die meisten Tools diese nicht verarbeiten können.

Dateien sollten mit einer Kopfzeile beginnen, gefolgt von Datenzeilen, die den Feldern und der Reihenfolge des Headers entsprechen.

Wenn Sie nicht-englische Zeichen benötigen, nutzen Sie UTF-8-Codierung. Stellen Sie sicher, dass Felder keine Trennzeichen oder Zeilenumbrüche enthalten. Sie können Anführungszeichen um Felder verwenden, vermeiden Sie jedoch Anführungszeichen innerhalb von Feldern. Falls nötig, ersetzen Sie Anführungszeichen durch ein anderes Zeichen, um die Verarbeitung zu erleichtern.

Leicht verfügbare Daten

Beginnen Sie mit einer Liste der leicht zugänglichen Daten. Berücksichtigen Sie diese Quellen:

• Monatliche oder wöchentliche Excel-Berichte mit Rohdaten. Verwenden Sie Excel zur Neuformatierung, falls nötig.
• Process-Mining-Daten aus anderen Tools, die oft keine zusätzliche Vorverarbeitung erfordern.
• Standard-Exporte aus Systemen wie HR-, Finanz- oder ITSM-Systemen. Exportieren Sie in ein Format, das Ihr Process-Mining-Tool unterstützt.
• Exporte aus analytischen Tools, die die erforderlichen Daten berichten. Verwenden Sie Pivot-Tabellen und Exporte, um das richtige Format zu erstellen.
• Data-Warehouses mit bereinigten und kombinierten Daten. Verwenden Sie Warehousetools, um Daten als CSV auszuwählen und zu exportieren.

Prozesssysteme

Daten werden oft in Systemen wie SAP, Workday, Salesforce oder ServiceNow gespeichert. Prüfen Sie zunächst, ob ein einfacher Export Ihren Anforderungen genügt, da dies der schnellste Weg ist, um Wert zu schaffen. Falls nicht, verwenden Sie ETL-Tools, um Daten in Ihr Process-Mining-Tool zu extrahieren, zu transformieren und zu laden.

Je nach Organisation müssen Sie möglicherweise die IT, Systembesitzer oder Data-Warehousing-Teams einbeziehen. Auch wenn dies die Datenerfassung verlangsamen kann, sollten Sie diese Teams nicht umgehen – sie haben Verfahren und Erfahrungen, die den Prozess beschleunigen können. Arbeiten Sie in einer agilen Schleife mit ihnen, indem Sie mit leicht zugänglichen Daten beginnen und Anfragen für alles auf einmal vermeiden, was zu Verzögerungen führen kann.

Fordern Sie zunächst Daten im Textformat an. Später automatisieren Sie mit der API Ihres Process-Mining-Tools oder eingebauten ETL-Tools.

Eingebaute ETL-Tools in Process-Mining-Tools

Wir raten im Allgemeinen davon ab, eingebaute ETL-Tools von Process-Mining-Anbietern zu verwenden. Auch wenn sie praktisch erscheinen, haben sie erhebliche Einschränkungen:

• Geringere Qualität im Vergleich zu dedizierten ETL-Tools.
• Verwendung proprietärer Technologie anstelle von Industriestandards wie SQL, was den Schulungsbedarf erhöht und die Verfügbarkeit von Fachwissen verringert.
• Vendor-Lock-in, was den Wechsel von Tools erschwert.
• Erzeugung von Datensilos, die die Wiederverwendung von Daten in anderen Analytics- oder AI-Projekten einschränken.

Drittanbieter-ETL-Tools

Viele Drittanbieter-ETL-Tools können die Anforderungen von Process Mining erfüllen. Obwohl Process Mining spezifische Daten erfordert, sind die Abläufe Standard.

Bevorzugen Sie SQL-basierte Tools für eine einfachere Wiederverwendung von ETL-Logik und bessere langfristige Wartbarkeit. Verwenden Sie firmeninterne Tools, um Verzögerungen oder Projektblockaden durch die Einführung neuer Tools zu vermeiden.

Gängige Drittanbieter-ETL-Tools für Process Mining:

• CData: Hervorragend für die Extraktion, oft in Verbindung mit anderen Tools genutzt.
• dbt: Ein SQL-basiertes Transformationstool mit Funktionen für die Bearbeitung großer Transformationen.
• BigQuery: Ein verwaltetes Data Warehouse von Google, ideal für schnelle SQL-Abfragen großer Datensätze.
• Snowflake: Eine cloudbasierte Plattform für skalierbaren Speicher und Computing, verwendet für Transformation und Analyse.
• DataBricks: Eine vereinheitlichte Analyseplattform, die Datenengineering, maschinelles Lernen und Analytik kombiniert.
• Talend: Ein grafisches ETL-Tool, das verschiedene Datenquellen unterstützt.
• Apache Nifi: Ein Open-Source-ETL-Tool für die Automatisierung von Datenflüssen und Echtzeitverarbeitung.

Spezialisierte ETL-Tools für Process Mining

Spezialisierte ETL-Tools für Process Mining vereinen die Vorteile von Drittanbieter-ETL mit Funktionen und Vorlagen für Process Mining.

Beispiele:

• Konekti: Entwickelt für die genaue und schnelle Erstellung von Prozessdatenmodellen.

Fazit

ETL ist nicht das Ziel von Process-Mining-Projekten, aber oft ein notwendiger Schritt. Richten Sie Ihren ETL-Prozess ein, um Verzögerungen zu vermeiden:

• Nutzen Sie leicht verfügbare Daten.
• Beginnen Sie mit manuellen Uploads; automatisieren Sie, wenn es sinnvoll ist.
• Verwenden Sie vorhandene Tools, vorzugsweise SQL.

Wichtig ist, dass Sie klein beginnen und sich schrittweise ausweiten. Vermeiden Sie es, alle Daten von Anfang an zu sammeln, da dies Ihr Projekt entgleisen kann.