Přírůstkové načítání dat

Co je přírůstkové načítání dat?

Přírůstkové načítání dat, označované také jako delta loading, umožňuje přidávat nové řádky do existující datové tabulky, aniž by se původní data nahrazovala. Hodí se, když záznam událostí postupně roste a chcete mít analýzu process mining aktuální, aniž byste museli znovu nahrávat celý dataset.

Typické příklady použití:

• Denní nebo týdenní exporty dat: Přidávejte nové transakce, objednávky nebo případy, jakmile jsou k dispozici.
• Průběžné sledování procesů: Pravidelným přidáváním nových dat udržujte dashboardy aktuální.
• Rostoucí záznamy událostí: Postupně přidávejte nové události ze systémů ERP, nástrojů CRM a dalších zdrojů.

Požadavky

• V datové tabulce už musí být nahraná počáteční data.
• Soubor delta musí mít stejný formát jako původní nahraný soubor:
  • K souborům CSV použijte soubory delta CSV
  • K souborům Parquet použijte soubory delta Parquet
  • K souborům ORC použijte soubory delta ORC
  • K souborům JSONL použijte soubory delta JSONL
• Soubory Excel (XLSX/XLS/XLSB) a XES nelze nahrávat jako delta. Nejprve je převeďte do CSV.
• Názvy sloupců v souboru delta by měly odpovídat původnímu nahranému souboru.
• Soubory delta lze komprimovat pomocí gzip (.gz), pokud jejich vnitřní formát odpovídá formátu původního nahraného souboru.

Nahrání přírůstkových dat

Přes API

Soubory delta můžete nahrávat programově pomocí ProcessMind API. Podrobnosti o všech koncových bodech najdete na stránce Referenční příručka API: data.

Postup je následující:

1. Získejte předem podepsanou URL pro nahrání souboru delta:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Nahrajte soubor delta pomocí předem podepsané URL:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Po dokončení nahrávání ProcessMind soubor delta automaticky zpracuje a spojí ho s původními daty. Průběh můžete sledovat dotazováním na GET /datatables/{dataTableId}, dokud hasDataLoaded nebude mít stav true. Pak bude zpracování dokončeno.

Přes uživatelské rozhraní

Přírůstkové načítání dat můžete spustit také na kartě Obecné datové sady v aplikaci ProcessMind:

1. Zapnutím přepínače Připojit změníte oblast pro nahrávání z Nahradit data na Připojit data.
2. Přetáhněte nový soubor do oblasti Připojit data nebo klikněte a vyhledejte ho.

ProcessMind nahraje soubor jako delta a zpracuje ho společně s existujícími daty. Nahrání jako delta je nutné zvolit výslovně. Při běžném nahrání, které data nahrazuje, se delta automaticky nerozpozná.

Zobrazení částí nahraných dat

Po jednom nebo více přírůstkových nahráních obsahuje historie nahrávání datové tabulky pole uploadParts, které eviduje jednotlivé soubory:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Doporučený postup

• Ve všech souborech používejte stejné názvy sloupců, aby se data správně přiřadila.
• Pokud možno nahrávejte soubory chronologicky, aby historie nahrávání odpovídala časovému průběhu dat.
• Udržujte soubory delta přiměřeně velké: nahrávejte data v dávkách střední velikosti. Velké množství drobných souborů může zpomalit zpracování.
• Po každém nahrání delta zkontrolujte počet řádků, abyste ověřili, že se data načetla správně.

Co se stane při neshodě schématu

ProcessMind nevyžaduje, aby schéma jednotlivých částí nahraných dat přesně odpovídalo. To znamená:

• Sloupce navíc se při zpracování souborů delta ignorují. Použijí se pouze sloupce uvedené ve schématu původního nahraného souboru.
• Chybějící sloupce mají v řádcích delta hodnotu null nebo prázdnou hodnotu.
• Odlišné názvy sloupců se považují za samostatné sloupce. V řádcích delta proto budou u očekávaných sloupců hodnoty null.

Nejlepších výsledků dosáhnete, když budou mít všechny soubory delta stejnou strukturu sloupců jako původní nahraný soubor.