Unterstützte Datenformate für Event Logs

Unterstützte Dateien für den Daten-Upload

ProcessMind unterstützt zahlreiche Dateiformate für den Upload von Event Logs. Sie können alle Formate sowohl über die App-Oberfläche als auch über die API hochladen.

Textbasierte Formate

• .csv: Durch Kommas getrennte Werte. Ein gängiges, platzsparendes Format, das sich aus den meisten Systemen wie Excel und ERP-Systemen exportieren lässt. Trennzeichen werden automatisch erkannt.
• .tsv: Durch Tabulatoren getrennte Werte. Ähnlich wie CSV, verwendet jedoch Tabulatoren statt Kommas. Praktisch, wenn die Daten Kommas enthalten.
• .txt: Reine Textdateien. Sie eignen sich, wenn die Daten einheitlich strukturiert und durch Trennzeichen gegliedert sind.
• .xes: Standardformat für Event Logs in Process-Mining-Tools. Ideal für die detaillierte Erfassung von Aktivitäten mit Timestamps und Case-IDs.

Excel-Formate

• .xls: Älteres Excel-Tabellenformat. Wird unterstützt, kann aber langsamer geladen werden als neuere Formate.
• .xlsx: Modernes Excel-Format. Weit verbreitet und vollständig unterstützt, häufig die bevorzugte Wahl für strukturierte Daten.
• .xlsb: Binäre Excel-Arbeitsmappe. Wird schneller geladen und eignet sich besser für große Datensätze als .xlsx, ist aber nicht so universell kompatibel.

Binäre und spaltenorientierte Datenformate

• .parquet: Apache-Parquet-Format. Ein spaltenorientiertes Speicherformat, das für Analyseaufgaben optimiert ist. Eignet sich besonders für große Datensätze und ist bei großen Datenmengen deutlich schneller als CSV. Unterstützt inkrementelle (Delta-)Uploads.
• .orc: Optimized Row Columnar (ORC). Ein weiteres effizientes spaltenorientiertes Format, das häufig in Hadoop- und Spark-Umgebungen verwendet wird. Unterstützt inkrementelle (Delta-)Uploads.
• .jsonl / .ndjson: JSON-Lines-Format. Jede Zeile enthält ein separates JSON-Objekt. Eignet sich gut für Datenexporte aus APIs und Protokollierungssystemen. Unterstützt inkrementelle (Delta-)Uploads.

Komprimierte Dateien

• .gz: Gzip-komprimierte Dateien. Alle oben genannten Formate können mit gzip komprimiert werden, zum Beispiel data.csv.gz oder data.parquet.gz. ProcessMind erkennt das enthaltene Format automatisch und entpackt die Datei bei Bedarf. Gzip-Komprimierung kann die Upload-Zeit großer Dateien verkürzen.

Allgemeine Anforderungen an die Dateistruktur

Damit Process Mining in ProcessMind funktioniert, müssen Ihre hochgeladenen Dateien bestimmte Strukturvorgaben erfüllen, unabhängig davon, ob sie im Excel-, Text- oder XML-Format vorliegen. So kann die App die Daten korrekt interpretieren und präzise analysieren.

1. Kopfzeile (Excel oder textbasiert)

• Die Datei muss mit einer Kopfzeile beginnen, die in der ersten Zeile steht (zum Beispiel in Zelle A1 bei Excel-Dateien oder in Zeile 1 bei CSV-, TSV- oder TXT-Dateien). Die Kopfzeile enthält die Spaltennamen. Diese sollten klar erkennen lassen, welche Daten die jeweilige Spalte enthält (zum Beispiel „Case-ID“, „Aktivität“, „Timestamp“).
• Bei CSV-, TSV- und TXT-Dateien werden Trennzeichen und Anführungszeichen automatisch erkannt. So können Sie Ihre Daten hochladen, ohne diese Einstellungen manuell festlegen zu müssen.
• Bei den Formaten Parquet und ORC werden Spaltennamen und Datentypen direkt aus dem eingebetteten Dateischema gelesen. Eine Kopfzeile ist daher nicht erforderlich.
• Bei den Formaten JSONL/NDJSON werden die Spaltennamen aus den JSON-Schlüsseln in der ersten Dateizeile abgeleitet.

2. Erforderliche Attribute

Damit Ihre Datei die Struktur eines Process-Mining-Event-Logs unterstützt, muss sie mindestens die folgenden Attribute (Spalten) enthalten. Die Spalten müssen nicht entsprechend benannt sein (Case-ID, Aktivität usw.), sollten aber die angegebenen Inhalte enthalten.

• Case-ID: Diese Spalte kennzeichnet jede Prozessinstanz (oder jeden Case) eindeutig. Alle Zeilen derselben Prozessinstanz müssen dieselbe Case-ID enthalten.
• Aktivität: Diese Spalte beschreibt die jeweilige erfasste Aktivität oder das Ereignis (zum Beispiel „Auftrag erstellt“ oder „Zahlung verarbeitet“).
• Timestamp: Jede Aktivität muss mit einem Timestamp versehen sein, der den genauen Zeitpunkt oder das Datum des Ereignisses angibt.
• Hinweis: Das Timestamp-Format wird so weit wie möglich automatisch erkannt. Gängige Formate wie yyyy-MM-dd HH:mm:ss, MM/dd/yyyy und weitere werden automatisch erkannt.
• Optionale Attribute: Sie können weitere Spalten ergänzen, um Ihre Analyse zu erweitern, zum Beispiel:
• Ressource: Gibt an, wer die Aktivität ausgeführt hat (zum Beispiel Benutzer oder Abteilung).
• Kosten: Kosten, die mit der Aktivität verbunden sind.
• Weitere benutzerdefinierte Daten: Sie können eigene Felder aufnehmen, die für Ihren Prozess relevant sind, sofern die erforderlichen Spalten vorhanden sind.

Welche Spalten genau erforderlich sind, hängt vom analysierten Prozess ab. In unseren Leitfäden zur Prozessverbesserung erfahren Sie, welches Schema der jeweilige Prozess benötigt: welche Felder erforderlich sind, welche Aktivitäten erfasst werden sollten und welches Datentemplate Sie ausfüllen können.

3. Datenformatierung

• Achten Sie darauf, dass Ihre Daten in allen Spalten einheitlich formatiert sind:
• Verwenden Sie für Timestamps ein gängiges, eindeutig erkennbares Format (zum Beispiel yyyy-MM-dd HH:mm:ss). Wenn Sie ein anderes Datumsformat verwenden, versucht ProcessMind, es automatisch zu erkennen.
• Vermeiden Sie Leerzeilen zwischen Datensätzen, da sie den Import stören können.
• Formatieren Sie Zahlen (zum Beispiel Kosten oder Dauer) in Excel als Zahlen. In textbasierten Dateien (CSV, TSV, TXT) müssen sie ebenfalls korrekt formatiert sein.
• Bei CSV-, TSV- und TXT-Dateien erkennt ProcessMind Trennzeichen (Kommas, Tabulatoren, Semikolons usw.) automatisch und verarbeitet Text in Anführungszeichen entsprechend.

4. Tabellenblattauswahl (nur für Excel-Dateien)

• ProcessMind verarbeitet automatisch die erste Tabelle Ihrer Excel-Datei (XLS, XLSX oder XLSB), unabhängig von ihrem Namen. Legen Sie die erforderlichen Event-Log-Daten auf dem ersten Tabellenblatt ab. Weitere Tabellenblätter werden beim Import nicht berücksichtigt.

5. XES-Format

Das Format .xes (eXtensible Event Stream) ist ein Standarddateiformat für Event Logs im Process Mining. Es enthält detaillierte Informationen zu Prozessinstanzen, etwa Case-IDs, Aktivitäten, Timestamps und weitere relevante Attribute.

Das Format wird von vielen Process-Mining-Tools unterstützt und eignet sich besonders für die präzise Rekonstruktion realer Prozessabläufe.

Technische Spezifikationen und weitere Details finden Sie auf der offiziellen Website zum XES-Standard.

6. Formate Parquet, ORC und JSONL

Parquet und ORC sind spaltenorientierte Binärformate, die häufig in Datenverarbeitungspipelines eingesetzt werden (Apache Spark, AWS Glue, Databricks usw.). Sie enthalten eingebettete Schema-Informationen. ProcessMind erkennt daher Spaltennamen und Datentypen automatisch, ohne dass Sie etwas konfigurieren müssen.

JSONL-Dateien (JSON Lines, auch NDJSON genannt) enthalten ein JSON-Objekt pro Zeile. Jedes Objekt steht für ein einzelnes Ereignis. Die JSON-Schlüssel werden als Spaltennamen verwendet. Dieses Format wird häufig beim Export von Daten aus APIs, Protokollierungssystemen oder Streaming-Plattformen eingesetzt.

Alle drei Formate:

• Unterstützen den Upload über die Benutzeroberfläche und die ProcessMind API
• Unterstützen inkrementelle (Delta-)Uploads
• Können für eine schnellere Übertragung mit Gzip komprimiert werden (.gz)

7. Tipps