Inkrementelles Laden von Daten

Was ist inkrementelles Laden von Daten?

Beim inkrementellen Laden von Daten, auch Delta-Laden genannt, können Sie neue Zeilen anhängen, ohne die ursprünglichen Daten in einer bestehenden Datentabelle zu ersetzen. Das ist hilfreich, wenn Ihr Event Log mit der Zeit wächst und Sie Ihre Process-Mining-Analyse aktuell halten möchten, ohne den gesamten Datensatz erneut hochzuladen.

Typische Anwendungsfälle:

• Tägliche oder wöchentliche Datenexporte: Hängen Sie neue Transaktionen, Bestellungen oder Cases an, sobald sie verfügbar sind.
• Kontinuierliche Prozessüberwachung: Halten Sie Ihre Dashboards aktuell, indem Sie regelmäßig neue Daten hinzufügen.
• Wachsende Event Logs: Fügen Sie schrittweise neue Ereignisse aus ERP-Systemen, CRM-Anwendungen oder anderen Quellen hinzu.

Voraussetzungen

• Die Datentabelle muss bereits einen ersten Upload mit geladenen Daten enthalten.
• Die Delta-Datei muss im gleichen Format wie der ursprüngliche Upload vorliegen:
  • Für CSV-Dateien sind CSV-Delta-Dateien erforderlich.
  • Für Parquet-Dateien sind Parquet-Delta-Dateien erforderlich.
  • Für ORC-Dateien sind ORC-Delta-Dateien erforderlich.
  • Für JSONL-Dateien sind JSONL-Delta-Dateien erforderlich.
• Excel-Dateien (XLSX/XLS/XLSB) und XES-Dateien werden für Delta-Uploads nicht unterstützt. Konvertieren Sie sie zuerst in CSV.
• Die Spaltennamen in der Delta-Datei sollten mit denen des ursprünglichen Uploads übereinstimmen.
• Delta-Dateien können gzip-komprimiert sein (.gz), sofern das enthaltene Format dem Format des ursprünglichen Uploads entspricht.

Inkrementelle Daten hochladen

Über die API

Verwenden Sie die ProcessMind-API, um Delta-Dateien programmgesteuert hochzuladen. Details zu den Endpunkten finden Sie in der API-Referenz: Daten.

Der Ablauf:

1. Rufen Sie eine vorab signierte Upload-URL für die Delta-Datei ab:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Laden Sie die Delta-Datei über die vorab signierte URL hoch:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Nach Abschluss des Uploads verarbeitet ProcessMind die Delta-Datei automatisch und führt sie mit den ursprünglichen Daten zusammen. Sie können GET /datatables/{dataTableId} abfragen, bis hasDataLoaded den Status true hat, um zu prüfen, ob die Verarbeitung abgeschlossen ist.

Über die Benutzeroberfläche

Sie können das inkrementelle Laden von Daten auch im Tab Allgemein des Datensatzes in der ProcessMind-Anwendung starten:

1. Schalten Sie den Regler Anhängen um, damit der Upload-Bereich von Daten ersetzen zu Daten anhängen wechselt.
2. Ziehen Sie die neue Datei in den Bereich Daten anhängen oder klicken Sie darauf, um die Datei auszuwählen.

ProcessMind lädt die Datei als Delta hoch und verarbeitet sie zusammen mit den vorhandenen Daten. Delta-Uploads müssen ausdrücklich ausgewählt werden. Bei einem normalen Upload zum Ersetzen werden sie nicht automatisch erkannt.

Upload-Teile anzeigen

Nach einem oder mehreren inkrementellen Uploads enthält der Upload-Verlauf der Datentabelle ein uploadParts-Array, in dem jede Datei erfasst wird:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Bewährte Vorgehensweisen

• Einheitliche Spaltennamen verwenden, damit die Daten korrekt zugeordnet werden.
• Uploads chronologisch sortieren, damit der Upload-Verlauf möglichst genau den zeitlichen Verlauf der Daten abbildet.
• Delta-Dateien in angemessener Größe halten: Laden Sie die Daten in mittelgroßen Paketen hoch. Sehr viele kleine Dateien können die Verarbeitung verlangsamen.
• Zeilenanzahl prüfen: Kontrollieren Sie nach jedem Delta, ob die Daten korrekt geladen wurden.

Was bei Abweichungen im Schema geschieht

ProcessMind erzwingt kein einheitliches Schema für alle Upload-Teile. Das bedeutet:

• Zusätzliche Spalten in Delta-Dateien werden bei der Verarbeitung ignoriert. Verwendet werden nur Spalten, die im Schema des ursprünglichen Uploads enthalten sind.
• Fehlende Spalten führen in den entsprechenden Feldern der Delta-Zeilen zu Null- oder Leerwerten.
• Abweichende Spaltennamen gelten als völlig andere Spalten. In den Delta-Zeilen stehen dann für die erwarteten Spalten Nullwerte.

Damit die Ergebnisse stimmen, müssen alle Delta-Dateien dieselbe Spaltenstruktur wie der ursprüngliche Upload haben.