Inkrementelles Laden von Daten

Was ist inkrementelles Laden von Daten?

Das inkrementelle Laden von Daten, auch als Delta-Laden bezeichnet, ermöglicht es Ihnen, neue Zeilen anzuhängen, ohne die ursprünglichen Daten zu ersetzen. Das ist hilfreich, wenn Ihr Event-Log-Datenbestand mit der Zeit wächst und Sie Ihre Process-Mining-Analyse aktuell halten möchten, ohne den gesamten Datensatz erneut hochzuladen.

Häufige Szenarien sind:

• Tägliche oder wöchentliche Datenexporte: Hängen Sie neue Transaktionen, Bestellungen oder Cases an, sobald sie verfügbar sind.
• Kontinuierliche Prozessüberwachung: Halten Sie Ihre Dashboards aktuell, indem Sie regelmäßig neue Daten hinzufügen.
• Wachsende Event Logs: Fügen Sie neue Events aus ERP-Systemen, CRM-Tools oder anderen Quellen schrittweise hinzu.

Voraussetzungen

• Die Datentabelle muss bereits einen initialen Upload mit geladenen Daten enthalten.
• Die Delta-Datei muss dasselbe Format wie der ursprüngliche Upload haben:
  • CSV-Dateien erfordern CSV-Delta-Dateien
  • Parquet-Dateien erfordern Parquet-Delta-Dateien
  • ORC-Dateien erfordern ORC-Delta-Dateien
  • JSONL-Dateien erfordern JSONL-Delta-Dateien
• Excel-Dateien (XLSX/XLS/XLSB) und XES-Dateien werden für Delta-Uploads nicht unterstützt. Konvertieren Sie sie zuerst in CSV.
• Die Spaltennamen in der Delta-Datei sollten mit dem ursprünglichen Upload übereinstimmen.
• Delta-Dateien können gzip-komprimiert sein (.gz), sofern das innere Format dem Format des ursprünglichen Uploads entspricht.

Inkrementelle Daten hochladen

Über die API

Verwenden Sie die ProcessMind API, um Delta-Dateien programmgesteuert hochzuladen. Ausführliche Informationen zu den Endpunkten finden Sie auf der Seite API-Referenz: Daten.

Der Ablauf:

1. Eine vorab signierte Upload-URL für das Delta abrufen:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presignedurl
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Die Delta-Datei über die vorab signierte URL hochladen:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Nach Abschluss des Uploads verarbeitet ProcessMind das Delta automatisch und kombiniert es mit den ursprünglichen Daten. Sie können GET /datatables/{dataTableId} abfragen, bis hasDataLoaded true ist, um festzustellen, wann die Verarbeitung abgeschlossen ist.

Über die Benutzeroberfläche

Das inkrementelle Laden von Daten kann auch im Tab Allgemein des Datensatzes in der ProcessMind-Anwendung gestartet werden:

1. Stellen Sie den Schalter Anhängen um, um den Upload-Bereich von Daten ersetzen auf Daten anhängen umzustellen.
2. Ziehen Sie die neue Datei in den Bereich Daten anhängen oder klicken Sie, um sie zu suchen und auszuwählen.

ProcessMind lädt die Datei als Delta hoch und verarbeitet sie gemeinsam mit den vorhandenen Daten. Delta-Uploads erfolgen ausdrücklich. Eine normale Upload-Datei zum Ersetzen wird niemals automatisch als Delta erkannt.

Upload-Teile anzeigen

Nach einem oder mehreren inkrementellen Uploads enthält die Upload-Historie der Datentabelle ein uploadParts-Array, in dem jede Datei erfasst wird:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Bewährte Vorgehensweisen

• Verwenden Sie in allen Dateien einheitliche Spaltennamen, um Probleme bei der Datenausrichtung zu vermeiden.
• Laden Sie die Dateien möglichst in chronologischer Reihenfolge hoch, damit die Upload-Historie den zeitlichen Verlauf der Daten abbildet.
• Halten Sie Delta-Dateien in einer angemessenen Größe: Laden Sie Daten in moderaten Paketen hoch. Eine sehr große Anzahl kleiner Dateien kann die Verarbeitung verlangsamen.
• Überwachen Sie nach jedem Delta die Zeilenanzahl, um die korrekte Datenübernahme zu prüfen.

Verhalten bei abweichendem Schema

ProcessMind erzwingt kein strikt einheitliches Schema zwischen den Upload-Teilen. Das bedeutet:

• Zusätzliche Spalten in Delta-Dateien werden bei der Verarbeitung ignoriert. Verwendet werden nur Spalten, die im Schema des ursprünglichen Uploads vorhanden sind.
• Fehlende Spalten führen in den Delta-Zeilen für diese Felder zu Null- oder leeren Werten.
• Abweichende Spaltennamen werden als vollständig andere Spalten behandelt. Die Delta-Zeilen enthalten für die erwarteten Spalten Nullwerte.

Die besten Ergebnisse erzielen Sie, wenn alle Delta-Dateien dieselbe Spaltenstruktur wie der ursprüngliche Upload haben.