Növekményes adatbetöltés

Mi az inkrementális adatbetöltés?

Az inkrementális adatbetöltés (más néven delta betöltés) lehetővé teszi, hogy új sorokat fűzzön hozzá egy meglévő adattáblához az eredeti adatok lecserélése nélkül. Akkor hasznos, ha az eseménynapló adatai idővel bővülnek, és a teljes adathalmaz újbóli feltöltése nélkül szeretné naprakészen tartani a process mining elemzést.

Gyakori felhasználási esetek:

• Napi vagy heti adatfájlok: Fűzze hozzá az új tranzakciókat, rendeléseket vagy eseteket, amint elérhetővé válnak.
• Folyamatos folyamatfigyelés: Rendszeres adatbetöltéssel tartsa naprakészen a dashboardokat.
• Bővülő eseménynaplók: Fokozatosan adjon hozzá új eseményeket ERP-rendszerekből, CRM-eszközökből vagy más forrásokból.

Követelmények

• Az adattáblában már kell lennie egy kezdeti, adatokat tartalmazó feltöltésnek.
• A deltafájlnak az eredeti feltöltéssel azonos formátumúnak kell lennie:
  • CSV-fájlhoz CSV deltafájl szükséges
  • Parquet-fájlhoz Parquet deltafájl szükséges
  • ORC-fájlhoz ORC deltafájl szükséges
  • JSONL-fájlhoz JSONL deltafájl szükséges
• Excel- (XLSX/XLS/XLSB) és XES-fájlok nem tölthetők fel deltafájlként. Előbb alakítsa át őket CSV-formátumra.
• A deltafájl oszlopneveinek egyezniük kell az eredeti feltöltés oszlopneveivel.
• A deltafájlok gzip-tömörítéssel is feltölthetők (.gz), ha a tömörített fájl belső formátuma megegyezik az eredeti feltöltésével.

Inkrementális adatok feltöltése

API-n keresztül

A deltafájlok programozott feltöltéséhez használja a ProcessMind API-t. A végpontok részletes leírását az API-referencia: adatok oldalon találja.

A folyamat lépései:

1. Kérjen aláírt feltöltési URL-t a deltafájlhoz:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Töltse fel a deltafájlt az aláírt URL használatával:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

A feltöltés befejezése után a ProcessMind automatikusan feldolgozza a deltafájlt, és egyesíti az eredeti adatokkal. A feldolgozás állapotának lekérdezésével GET /datatables/{dataTableId}, amíg a hasDataLoaded állapota true nem lesz, ellenőrizheti, mikor fejeződött be a feldolgozás.

A felületen keresztül

Az inkrementális adatbetöltést a ProcessMind alkalmazásban az adathalmaz Általános lapjáról is elindíthatja:

1. Kapcsolja át a Hozzáfűzés kapcsolót, hogy a feltöltési terület az Adatok cseréje helyett az Adatok hozzáfűzése módra váltson.
2. Húzza az új fájlt az Adatok hozzáfűzése területre, vagy kattintson rá a fájl kiválasztásához.

A ProcessMind deltafájlként tölti fel a fájlt, majd a meglévő adatokkal együtt dolgozza fel. A deltafeltöltést külön kell elindítani: a rendszer normál (cserélő) feltöltés esetén nem ismeri fel automatikusan.

A feltöltési részek megtekintése

Egy vagy több inkrementális feltöltés után az adattábla feltöltési előzményei tartalmaznak egy uploadParts tömböt, amely minden fájlt nyilvántart:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Javasolt eljárások

• Minden fájlban használjon azonos oszlopneveket, így elkerülheti az adatok illesztési problémáit.
• Lehetőség szerint időrendi sorrendben töltse fel a fájlokat, így a feltöltési előzmények az adatok időrendjét tükrözik.
• A deltafájlok mérete maradjon kezelhető: mérsékelt méretű adagokban töltsön fel adatokat. A sok apró fájl lelassíthatja a feldolgozást.
• Minden deltafeltöltés után ellenőrizze a sorok számát, hogy megbizonyosodjon az adatok helyes betöltéséről.

Eltérő séma kezelése

A ProcessMind nem követeli meg, hogy a feltöltési részek sémája pontosan megegyezzen. Ez azt jelenti, hogy:

• A deltafájlok további oszlopait a feldolgozás figyelmen kívül hagyja. A rendszer csak az eredeti feltöltés sémájában szereplő oszlopokat használja.
• A hiányzó oszlopok mezői a deltafájl soraiban null vagy üres értéket kapnak.
• Az eltérő oszlopneveket a rendszer külön oszlopként kezeli. A deltafájl soraiban az elvárt oszlopok értéke null lesz.

A legjobb eredmény érdekében ügyeljen arra, hogy minden deltafájl oszlopszerkezete megegyezzen az eredeti feltöltésével.