Incrementeel data laden

Wat is incrementeel data laden?

Met incrementeel data laden (ook wel delta loading genoemd) kun je nieuwe rijen toevoegen aan een bestaande datatabel zonder de oorspronkelijke data te vervangen. Dit is handig als het event log in de loop van de tijd groeit en je de process mining-analyse actueel wilt houden zonder de volledige dataset opnieuw te uploaden.

Veelvoorkomende situaties zijn:

• Dagelijkse of wekelijkse data-export: voeg nieuwe transacties, orders of cases toe zodra ze beschikbaar zijn.
• Doorlopende procesbewaking: houd dashboards actueel door regelmatig nieuwe data toe te voegen.
• Groeiende event logs: voeg stapsgewijs nieuwe events toe uit ERP-systemen, CRM-tools of andere bronnen.

Vereisten

• De datatabel moet al een eerste upload met geladen data bevatten.
• Het deltabestand moet hetzelfde formaat hebben als de oorspronkelijke upload:
  • CSV-bestanden vereisen CSV-deltabestanden
  • Parquet-bestanden vereisen Parquet-deltabestanden
  • ORC-bestanden vereisen ORC-deltabestanden
  • JSONL-bestanden vereisen JSONL-deltabestanden
• Excel-bestanden (XLSX/XLS/XLSB) en XES-bestanden worden niet ondersteund voor delta-uploads. Zet ze eerst om naar CSV.
• De kolomnamen in het deltabestand moeten overeenkomen met die van de oorspronkelijke upload.
• Deltabestanden mogen met gzip zijn gecomprimeerd (.gz), zolang het bestand binnenin hetzelfde formaat heeft als de oorspronkelijke upload.

Incrementele data uploaden

Via de API

Gebruik de ProcessMind API om deltabestanden programmatisch te uploaden. Bekijk de pagina API-referentie: data voor alle details over de endpoints.

De workflow bestaat uit deze stappen:

1. Vraag een vooraf ondertekende upload-URL voor de delta op:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Upload het deltabestand met de vooraf ondertekende URL:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Zodra de upload is voltooid, verwerkt ProcessMind de delta automatisch en voegt deze samen met de oorspronkelijke data. Je kunt GET /datatables/{dataTableId} blijven controleren tot hasDataLoaded de status true heeft, om te zien wanneer de verwerking klaar is.

Via de interface

Je kunt incrementeel data laden via het tabblad Algemeen van de dataset in ProcessMind:

1. Zet de schakelaar Toevoegen om het uploadgedeelte te wijzigen van Data vervangen naar Data toevoegen.
2. Sleep het nieuwe bestand naar het gedeelte Data toevoegen, of klik erop om het bestand te zoeken en te selecteren.

ProcessMind uploadt het bestand als delta en verwerkt het samen met de bestaande data. Delta-uploads zijn expliciet: een gewone upload (vervangen) wordt nooit automatisch als delta herkend.

Uploadonderdelen bekijken

Na een of meer incrementele uploads bevat de uploadgeschiedenis van de datatabel een uploadParts-array met informatie over elk bestand:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Aanbevolen werkwijzen

• Gebruik in alle bestanden dezelfde kolomnamen om problemen met het uitlijnen van data te voorkomen.
• Upload bestanden zo mogelijk in chronologische volgorde, zodat de uploadgeschiedenis de tijdlijn van de data volgt.
• Houd deltabestanden van een redelijk formaat: upload data in middelgrote batches. Een groot aantal kleine bestanden kan de verwerking vertragen.
• Controleer na elke delta het aantal rijen om na te gaan of de data goed is geladen.

Wat gebeurt er bij een afwijkend schema?

ProcessMind dwingt geen strikt schema af voor de verschillende uploadonderdelen. Dat betekent het volgende:

• Extra kolommen in deltabestanden worden tijdens de verwerking genegeerd. Alleen kolommen uit het schema van de oorspronkelijke upload worden gebruikt.
• Ontbrekende kolommen krijgen in de deltaregels de waarde null of leeg.
• Afwijkende kolomnamen worden gezien als andere kolommen. De verwachte kolommen krijgen in de deltaregels de waarde null.

Zorg voor het beste resultaat dat alle deltabestanden dezelfde kolomstructuur hebben als de oorspronkelijke upload.