Unterstützte Datenformate für Event Logs

Dateiunterstützung für den Daten-Upload

ProcessMind unterstützt zahlreiche Dateiformate für den Upload von Event Logs. Alle Formate können sowohl über die App-Oberfläche als auch über die API hochgeladen werden.

Textbasierte Formate

• .csv: Durch Kommas getrennte Werte. Ein verbreitetes und platzsparendes Format, das von den meisten Systemen, etwa Excel und ERP-Systemen, exportiert werden kann. Trennzeichen werden automatisch erkannt.
• .tsv: Durch Tabulatoren getrennte Werte. Ähnlich wie CSV, verwendet jedoch Tabulatoren statt Kommas. Das ist hilfreich, wenn die Daten Kommas enthalten.
• .txt: Reine Textdateien. Sie können verwendet werden, wenn die Daten konsistent strukturiert und durch Trennzeichen separiert sind.
• .xes: Standardformat für Event Logs, das von Process-Mining-Tools verwendet wird. Ideal für die detaillierte Erfassung von Aktivitäten mit Timestamps und Case-IDs.

Excel-Formate

• .xls: Excel-Tabellenformat (ältere Version). Unterstützt, kann jedoch langsamer geladen werden als neuere Formate.
• .xlsx: Modernes Excel-Format. Weit verbreitet und vollständig unterstützt, häufig die bevorzugte Option für strukturierte Daten.
• .xlsb: Binäre Excel-Arbeitsmappe. Wird schneller geladen und verarbeitet große Datasets besser als .xlsx, ist jedoch nicht so universell unterstützt.

Binäre und spaltenbasierte Datenformate

• .parquet: Apache-Parquet-Format. Spaltenorientiertes Speicherformat, optimiert für analytische Workloads. Hervorragend für große Datensätze geeignet und bei Big Data deutlich schneller als CSV. Unterstützt inkrementelle (Delta-)Uploads.
• .orc: Optimized-Row-Columnar-(ORC-)Format. Ein weiteres effizientes spaltenorientiertes Format, das in Hadoop-/Spark-Ökosystemen verbreitet ist. Unterstützt inkrementelle (Delta-)Uploads.
• .jsonl / .ndjson: JSON-Lines-Format. Jede Zeile enthält ein separates JSON-Objekt. Geeignet für Streaming-Datenexporte aus APIs und Protokollierungssystemen. Unterstützt inkrementelle (Delta-)Uploads.

Komprimierte Dateien

• .gz: Gzip-komprimierte Dateien. Jedes der oben genannten Formate kann mit Gzip komprimiert werden, zum Beispiel data.csv.gz und data.parquet.gz. ProcessMind erkennt das enthaltene Format automatisch und dekomprimiert die Datei bei Bedarf. Durch die Gzip-Komprimierung lassen sich die Upload-Zeiten großer Dateien verkürzen.

Allgemeine Anforderungen an die Dateistruktur

Damit Process Mining in ProcessMind erfolgreich durchgeführt werden kann, müssen Ihre hochgeladenen Dateien, unabhängig davon, ob sie im Excel-, textbasierten oder XML-Format vorliegen, bestimmte strukturelle Anforderungen erfüllen. So kann die Anwendung die Daten korrekt interpretieren und präzise analysieren.

1. Kopfzeile (Excel oder textbasiert)

• Die Datei muss mit einer Kopfzeile beginnen, die sich in der ersten Zeile befindet, zum Beispiel in Zelle A1 bei Excel-Dateien oder in Zeile 1 bei CSV-, TSV- oder TXT-Dateien. Die Kopfzeile definiert die Spaltennamen und sollte den Datentyp jeder Spalte eindeutig angeben, zum Beispiel „Case-ID“, „Aktivität“ oder „Timestamp“.
• Bei CSV-, TSV- und TXT-Formaten werden Trennzeichen und Anführungszeichen automatisch erkannt. Dadurch können Sie Ihre Daten hochladen, ohne diese Einstellungen manuell festlegen zu müssen.
• Bei den Formaten Parquet und ORC werden Spaltennamen und Datentypen direkt aus dem eingebetteten Dateischema gelesen. Eine Kopfzeile ist nicht erforderlich.
• Bei den Formaten JSONL/NDJSON werden die Spaltennamen aus den JSON-Schlüsseln in der ersten Datei­zeile abgeleitet.

2. Mindestumfang der Attribute

Damit Ihre Datei die Struktur eines Process-Mining-Event-Logs unterstützt, muss sie mindestens die folgenden Attribute (Spalten) enthalten. Die Spaltennamen müssen nicht mit den Bezeichnungen Case-ID, Aktivität usw. übereinstimmen, sollten jedoch die angegebenen Inhalte enthalten.

• Case-ID: Diese Spalte identifiziert jede Prozessinstanz beziehungsweise jeden Case eindeutig. Jede Zeile, die zu derselben Prozessinstanz gehört, muss dieselbe Case-ID enthalten.
• Aktivität: Diese Spalte beschreibt die aufgezeichnete Aktivität oder das aufgezeichnete Event, zum Beispiel „Auftrag erstellt“ oder „Zahlung verarbeitet“.
• Timestamp: Jede Aktivität muss mit einem Timestamp verknüpft sein, der den genauen Zeitpunkt oder das Datum des Events angibt.
• Hinweis: Das Timestamp-Format wird so weit wie möglich automatisch erkannt. Gängige Formate wie yyyy-MM-dd HH:mm:ss, MM/dd/yyyy und weitere werden automatisch erkannt.
• Optionale Attribute: Sie können zusätzliche Spalten aufnehmen, um Ihre Analyse zu verbessern, zum Beispiel:
• Ressource: Gibt an, wer die Aktivität ausgeführt hat, zum Beispiel ein Benutzer oder eine Abteilung.
• Kosten: Kosten, die mit der Aktivität verbunden sind.
• Andere benutzerdefinierte Daten: Sie können benutzerdefinierte Felder aufnehmen, die für Ihren konkreten Prozess relevant sind, sofern die erforderlichen Spalten vorhanden sind.

Die genauen Spalten hängen von dem Prozess ab, den Sie analysieren. Unsere Anleitungen zur Prozessverbesserung beschreiben das für jeden Prozess erforderliche Schema, die zu erfassenden Aktivitäten und ein Daten-Template, das Sie ausfüllen können.

3. Datenformatierung

• Stellen Sie sicher, dass Ihre Daten in allen Spalten einheitlich formatiert sind:
• Timestamps sollten in einem standardisierten, erkennbaren Format vorliegen, zum Beispiel yyyy-MM-dd HH:mm:ss. ProcessMind versucht jedoch, das Datumsformat automatisch zu erkennen, wenn es davon abweicht.
• Vermeiden Sie leere Zeilen zwischen Dateneinträgen, da dies den Importprozess beeinträchtigen kann.
• Stellen Sie sicher, dass numerische Daten, zum Beispiel Kosten oder Dauern, in Excel als Zahlen formatiert sind oder in textbasierten Dateien wie CSV, TSV und TXT korrekt formatiert vorliegen.
• Bei CSV-, TSV- und TXT-Formaten erkennt ProcessMind Trennzeichen wie Kommas, Tabulatoren und Semikolons automatisch und verarbeitet Text in Anführungszeichen automatisch.

4. Tabellenauswahl (nur für Excel-Dateien)

• ProcessMind verarbeitet automatisch die Daten aus dem ersten Tabellenblatt Ihrer Excel-Datei (XLS, XLSX oder XLSB), unabhängig von dessen Namen. Stellen Sie sicher, dass die erforderlichen Event-Log-Daten im ersten Tabellenblatt stehen, da zusätzliche Tabellenblätter beim Import nicht berücksichtigt werden.

5. XES-Format

Das Format .xes (eXtensible Event Stream) ist ein standardisierter Dateityp für Event Logs im Process Mining. Es erfasst detaillierte Informationen zu Prozessinstanzen, darunter Case-IDs, Aktivitäten, Timestamps und weitere relevante Attribute.

Das Format wird von Process-Mining-Tools umfassend unterstützt und eignet sich für die präzise Rekonstruktion des Prozessverhaltens in der Praxis.

Technische Spezifikationen und vollständige Informationen finden Sie auf der offiziellen Website des XES-Standards.

6. Parquet-, ORC- und JSONL-Formate

Parquet und ORC sind spaltenorientierte Binärformate, die in Daten-Engineering-Pipelines weit verbreitet sind, etwa in Apache Spark, AWS Glue und Databricks. Sie enthalten eingebettete Schema-Informationen. Daher erkennt ProcessMind Spaltennamen und Datentypen automatisch, ohne dass eine manuelle Konfiguration erforderlich ist.

JSONL-Dateien (JSON Lines, auch als NDJSON bezeichnet) enthalten ein JSON-Objekt pro Zeile. Jedes Objekt stellt ein einzelnes Event dar. Die JSON-Schlüssel werden zu den Spaltennamen. Dieses Format wird häufig beim Export von Daten aus APIs, Protokollierungssystemen oder Streaming-Plattformen verwendet.

Alle drei Formate:

• Unterstützen den Upload über die Benutzeroberfläche und die ProcessMind API
• Unterstützen inkrementelle (Delta-)Uploads
• Können für eine schnellere Übertragung mit Gzip komprimiert werden (.gz)

7. Tipps