Caricamento incrementale dei dati

Che cos’è il caricamento incrementale dei dati?

Il caricamento incrementale dei dati, detto anche caricamento delta, consente di aggiungere nuove righe a una tabella esistente senza sostituire i dati originali. È utile quando i dati dell’Event Log aumentano nel tempo e desidera mantenere aggiornata l’analisi di Process Mining senza caricare nuovamente l’intero dataset.

Ecco alcuni casi d’uso comuni:

• Esportazioni giornaliere o settimanali: aggiunga nuove transazioni, ordini o casi man mano che diventano disponibili.
• Monitoraggio continuo dei processi: mantenga aggiornate le Dashboard aggiungendo regolarmente dati recenti.
• Event Log in crescita: aggiunga gradualmente nuovi eventi provenienti da sistemi ERP, strumenti CRM o altre origini.

Requisiti

• La tabella deve contenere dati caricati in precedenza.
• Il file delta deve avere lo stesso formato del caricamento originale:
  • I file CSV richiedono file delta CSV
  • I file Parquet richiedono file delta Parquet
  • I file ORC richiedono file delta ORC
  • I file JSONL richiedono file delta JSONL
• I file Excel (XLSX/XLS/XLSB) e XES non sono supportati per i caricamenti delta: li converta prima in CSV.
• I nomi delle colonne nel file delta devono corrispondere a quelli del caricamento originale.
• I file delta possono essere compressi con gzip (.gz), purché il formato contenuto corrisponda a quello del caricamento originale.

Caricare dati in modo incrementale

Tramite API

Utilizzi l’API di ProcessMind per caricare i file delta tramite codice. Per informazioni complete sugli endpoint, consulti la pagina Riferimento API: dati.

La procedura è la seguente:

1. Ottenga un URL di caricamento delta prefirmato:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Carichi il file delta utilizzando l’URL prefirmato:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Al termine del caricamento, ProcessMind elabora automaticamente il delta e lo combina con i dati originali. Può eseguire il polling di GET /datatables/{dataTableId} fino a quando hasDataLoaded è true per verificare che l’elaborazione sia terminata.

Tramite l’interfaccia

È possibile avviare il caricamento incrementale anche dalla scheda Generale del dataset nell’applicazione ProcessMind:

1. Attivi l’interruttore Aggiungi per passare dall’area di caricamento Sostituisci i dati a Aggiungi dati.
2. Trascini il nuovo file nell’area Aggiungi dati oppure faccia clic per individuarlo e selezionarlo.

ProcessMind carica il file come delta e lo elabora insieme ai dati esistenti. I caricamenti delta devono essere avviati esplicitamente: non vengono mai rilevati automaticamente durante un normale caricamento con sostituzione.

Visualizzare le parti caricate

Dopo uno o più caricamenti incrementali, la cronologia dei caricamenti della tabella include un array uploadParts che registra ciascun file:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Procedure consigliate

• Utilizzi nomi di colonna coerenti in tutti i file per evitare problemi di allineamento dei dati.
• Carichi i file in ordine cronologico quando possibile, così la cronologia dei caricamenti rispecchia la sequenza temporale dei dati.
• Mantenga i file delta di dimensioni ragionevoli: carichi i dati in blocchi di dimensioni moderate, perché un numero elevato di file molto piccoli può rallentare l’elaborazione.
• Controlli il numero di righe dopo ogni delta per verificare che i dati siano stati caricati correttamente.

Comportamento in caso di mancata corrispondenza dello schema

ProcessMind non impone uno schema rigido tra le parti caricate. Di conseguenza:

• Le colonne aggiuntive nei file delta vengono ignorate durante l’elaborazione: vengono utilizzate solo le colonne presenti nello schema del caricamento originale.
• Le colonne mancanti avranno valori null o vuoti nei relativi campi delle righe delta.
• Le colonne con nomi diversi vengono considerate colonne distinte: nelle righe delta, le colonne previste avranno valori null.

Per ottenere risultati ottimali, verifichi che tutti i file delta abbiano la stessa struttura di colonne del caricamento originale.