Przyrostowe wczytywanie danych

Na czym polega przyrostowe ładowanie danych?

Przyrostowe ładowanie danych (nazywane też ładowaniem różnicowym) pozwala dopisywać nowe wiersze do istniejącej tabeli danych bez zastępowania dotychczasowych danych. Przydaje się, gdy dziennik zdarzeń rośnie z czasem i chcą Państwo aktualizować analizę process mining bez ponownego przesyłania całego zbioru danych.

Typowe zastosowania:

• Codzienny lub cotygodniowy eksport danych: dopisywanie nowych transakcji, zamówień lub spraw w miarę ich pojawiania się.
• Ciągłe monitorowanie procesów: regularne dodawanie nowych danych, aby dashboardy były aktualne.
• Rozrastające się dzienniki zdarzeń: stopniowe dodawanie nowych zdarzeń z systemów ERP, narzędzi CRM i innych źródeł.

Wymagania

• Tabela danych musi już zawierać dane z pierwszego przesłania.
• Plik delta musi mieć ten sam format co plik pierwotny:
  • Pliki CSV wymagają plików delta CSV
  • Pliki Parquet wymagają plików delta Parquet
  • Pliki ORC wymagają plików delta ORC
  • Pliki JSONL wymagają plików delta JSONL
• Pliki Excel (XLSX/XLS/XLSB) i XES nie są obsługiwane przy przesyłaniu plików delta. Najpierw należy przekonwertować je do formatu CSV.
• Nazwy kolumn w pliku delta powinny odpowiadać nazwom z pliku pierwotnego.
• Pliki delta można kompresować za pomocą gzip (.gz), pod warunkiem że format pliku po rozpakowaniu odpowiada formatowi pliku pierwotnego.

Przesyłanie danych przyrostowych

Przez API

Do programowego przesyłania plików delta służy API ProcessMind. Szczegółowe informacje o endpointach zawiera strona Dokumentacja API: dane.

Przebieg wygląda następująco:

1. Pobierz podpisany adres URL do przesłania pliku delta:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Prześlij plik delta za pomocą podpisanego adresu URL:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Po zakończeniu przesyłania ProcessMind automatycznie przetwarza plik delta i łączy go z danymi pierwotnymi. Aby sprawdzić, czy przetwarzanie się zakończyło, można odpytywać GET /datatables/{dataTableId} aż do momentu, gdy hasDataLoaded będzie mieć stan true.

Przez interfejs użytkownika

Przyrostowe ładowanie danych można też rozpocząć na karcie Ogólne zbioru danych w aplikacji ProcessMind:

1. Przełącz opcję Dołącz, aby zmienić obszar przesyłania z Zastąp dane na Dołącz dane.
2. Przeciągnij nowy plik do obszaru Dołącz dane albo kliknij ten obszar, aby znaleźć i wybrać plik.

ProcessMind przesyła plik jako dane delta i przetwarza go razem z istniejącymi danymi. Przesyłanie delta wymaga wyraźnego wyboru tej opcji. System nie rozpoznaje go automatycznie podczas zwykłego przesyłania z zastąpieniem danych.

Wyświetlanie części przesłanych danych

Po co najmniej jednym przesłaniu przyrostowym w historii przesyłania tabeli danych pojawi się tablica uploadParts zawierająca informacje o każdym pliku:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Dobre praktyki

• Używaj spójnych nazw kolumn we wszystkich plikach, aby uniknąć problemów z dopasowaniem danych.
• W miarę możliwości przesyłaj dane chronologicznie, aby historia przesyłania odzwierciedlała ich kolejność w czasie.
• Zachowuj rozsądny rozmiar plików delta: przesyłaj dane w umiarkowanych partiach. Duża liczba małych plików może spowolnić przetwarzanie.
• Po każdym przesłaniu delta sprawdzaj liczbę wierszy, aby upewnić się, że dane zostały poprawnie załadowane.

Co się dzieje przy niezgodności schematu

ProcessMind nie wymaga ścisłej zgodności schematu między częściami przesyłanych danych. Oznacza to, że:

• Dodatkowe kolumny w plikach delta są pomijane podczas przetwarzania. Wykorzystywane są tylko kolumny ze schematu pliku pierwotnego.
• Brakujące kolumny oznaczają, że odpowiadające im pola w wierszach delta będą miały wartość null lub pozostaną puste.
• Inne nazwy kolumn są traktowane jako nazwy zupełnie innych kolumn. W wierszach delta oczekiwane kolumny będą więc miały wartości null.

Aby uzyskać najlepsze wyniki, należy zadbać o to, by wszystkie pliki delta miały taką samą strukturę kolumn jak plik pierwotny.