Obsługiwane formaty danych dla dzienników zdarzeń

Obsługiwane formaty plików do przesyłania danych

ProcessMind obsługuje wiele formatów plików z dziennikami zdarzeń. Pliki można przesyłać zarówno przez interfejs aplikacji, jak i przez API.

Formaty tekstowe

• .csv: wartości rozdzielane przecinkami. Popularny, lekki format, do którego eksportuje większość systemów, w tym Excel i systemy ERP. Separatory są wykrywane automatycznie.
• .tsv: wartości rozdzielane tabulatorami. Podobny do CSV, ale zamiast przecinków używa tabulatorów. Przydatny, gdy dane zawierają przecinki.
• .txt: zwykłe pliki tekstowe. Można ich używać, jeśli dane mają spójny format z separatorami.
• .xes: standardowy format dzienników zdarzeń używany w narzędziach process mining. Nadaje się do szczegółowego śledzenia aktywności wraz ze znacznikami czasu i identyfikatorami spraw.

Formaty Excel

• .xls: starszy format arkuszy Excel. Jest obsługiwany, ale może wczytywać się wolniej niż nowsze formaty.
• .xlsx: nowoczesny format Excel. Jest powszechnie używany i w pełni obsługiwany, często wybierany dla uporządkowanych danych.
• .xlsb: skoroszyt binarny Excel. Wczytuje się szybciej i lepiej obsługuje duże zbiory danych niż .xlsx, ale nie jest tak powszechnie obsługiwany.

Binarne i kolumnowe formaty danych

• .parquet: format Apache Parquet. Kolumnowy format przechowywania danych, zoptymalizowany pod kątem analityki. Sprawdza się przy dużych zbiorach danych i jest znacznie szybszy niż CSV przy dużych wolumenach. Obsługuje przyrostowe wczytywanie danych (delta).
• .orc: format Optimized Row Columnar (ORC). Kolejny wydajny format kolumnowy, popularny w ekosystemach Hadoop i Spark. Obsługuje przyrostowe wczytywanie danych (delta).
• .jsonl / .ndjson: format JSON Lines. Każdy wiersz zawiera osobny obiekt JSON. Sprawdza się przy eksportowaniu strumieni danych z API i systemów rejestrowania zdarzeń. Obsługuje przyrostowe wczytywanie danych (delta).

Pliki skompresowane

• .gz: pliki skompresowane gzip. Każdy z wymienionych formatów można skompresować gzip, na przykład data.csv.gz, data.parquet.gz. ProcessMind automatycznie rozpoznaje format pliku i w razie potrzeby go rozpakowuje. Kompresja gzip może skrócić czas przesyłania dużych plików.

Ogólne wymagania dotyczące struktury plików

Aby poprawnie przeprowadzić process mining w ProcessMind, przesyłane pliki, niezależnie od tego, czy są w formacie Excel, tekstowym czy XML, muszą spełniać określone wymagania dotyczące struktury. Dzięki temu aplikacja prawidłowo odczyta dane i przeprowadzi rzetelną analizę.

1. Wiersz nagłówkowy (Excel lub format tekstowy)

• Plik musi zaczynać się od wiersza nagłówkowego, który powinien znajdować się w pierwszym wierszu, na przykład w komórce A1 w plikach Excel lub w wierszu 1 w plikach CSV, TSV i TXT. Nagłówek określa nazwy kolumn i powinien jasno wskazywać rodzaj danych w każdej z nich, na przykład „Identyfikator sprawy”, „Aktywność”, „Znacznik czasu”.
• W plikach CSV, TSV i TXT separatory oraz cudzysłowy są wykrywane automatycznie, więc nie trzeba ręcznie określać tych ustawień podczas przesyłania danych.
• W formatach Parquet i ORC nazwy kolumn i typy danych są odczytywane bezpośrednio z wbudowanego schematu pliku, dlatego wiersz nagłówkowy nie jest potrzebny.
• W formatach JSONL/NDJSON nazwy kolumn są określane na podstawie kluczy JSON w pierwszym wierszu pliku.

2. Minimalny zestaw atrybutów

Aby plik mógł posłużyć jako dziennik zdarzeń do process mining, musi zawierać co najmniej następujące atrybuty (kolumny). Nazwy kolumn nie muszą odpowiadać podanym nazwom, takim jak identyfikator sprawy czy aktywność, ale muszą zawierać opisane dane.

• Identyfikator sprawy: kolumna jednoznacznie identyfikuje każdą instancję procesu (lub sprawę). Wszystkie wiersze dotyczące tej samej instancji procesu muszą mieć ten sam identyfikator sprawy.
• Aktywność: kolumna opisuje konkretną rejestrowaną aktywność lub zdarzenie, na przykład „Utworzono zamówienie” albo „Przetworzono płatność”.
• Znacznik czasu: każda aktywność musi mieć znacznik czasu wskazujący dokładną datę lub godzinę wystąpienia zdarzenia.
• Uwaga: format znaczników czasu jest w miarę możliwości wykrywany automatycznie. Typowe formaty, takie jak yyyy-MM-dd HH:mm:ss, MM/dd/yyyy i inne, są rozpoznawane automatycznie.
• Atrybuty opcjonalne: można dodać kolumny, które ułatwią analizę, na przykład:
• Zasób: wskazuje, kto wykonał aktywność, na przykład użytkownika lub dział.
• Koszt: koszty związane z aktywnością.
• Inne dane niestandardowe: można dodać własne pola związane z analizowanym procesem, o ile plik zawiera wymagane kolumny.

Dokładny zestaw kolumn zależy od analizowanego procesu. Nasze poradniki dotyczące ulepszania procesów opisują schemat wymagany dla każdego procesu: potrzebne pola, aktywności do zarejestrowania oraz szablon danych do uzupełnienia.

3. Formatowanie danych

• Zadbaj o spójny format danych we wszystkich kolumnach:
• Znaczniki czasu powinny mieć standardowy, rozpoznawalny format, na przykład yyyy-MM-dd HH:mm:ss. Jeśli format daty jest inny, ProcessMind spróbuje wykryć go automatycznie.
• Nie wstawiaj pustych wierszy między wpisami, ponieważ mogą zakłócić import.
• Dane liczbowe, takie jak koszty i czasy trwania, powinny być zapisane jako liczby w Excelu lub prawidłowo sformatowane w plikach tekstowych (CSV, TSV, TXT).
• W plikach CSV, TSV i TXT ProcessMind będzie automatycznie wykrywać separatory, takie jak przecinki, tabulatory i średniki, oraz prawidłowo odczytywać tekst ujęty w cudzysłowy.

4. Wybór arkusza (tylko pliki Excel)

• ProcessMind automatycznie przetwarza dane z pierwszego arkusza pliku Excel (XLS, XLSX lub XLSB), niezależnie od jego nazwy. Umieść wymagane dane dziennika zdarzeń w pierwszym arkuszu. Pozostałe arkusze nie będą uwzględniane podczas importu.

5. Format XES

Format .xes (eXtensible Event Stream) to standardowy typ pliku używany do przechowywania dzienników zdarzeń w process mining. Zawiera szczegółowe informacje o instancjach procesu, takie jak identyfikatory spraw, aktywności, znaczniki czasu i inne istotne atrybuty.

Format ten jest szeroko obsługiwany przez narzędzia process mining i dobrze nadaje się do dokładnego odtworzenia rzeczywistego przebiegu procesu.

Specyfikację techniczną i pełne informacje można znaleźć na oficjalnej stronie standardu XES.

6. Formaty Parquet, ORC i JSONL

Parquet i ORC to binarne formaty kolumnowe powszechnie stosowane w potokach przetwarzania danych, między innymi w Apache Spark, AWS Glue i Databricks. Zawierają wbudowany schemat, dzięki czemu ProcessMind automatycznie wykrywa nazwy kolumn i typy danych bez ręcznej konfiguracji.

Pliki JSONL (JSON Lines, znane też jako NDJSON) zawierają jeden obiekt JSON w każdym wierszu. Każdy obiekt reprezentuje pojedyncze zdarzenie, a klucze JSON stają się nazwami kolumn. Ten format jest często używany do eksportowania danych z API, systemów rejestrowania zdarzeń i platform strumieniowych.

Wszystkie trzy formaty:

• Obsługują przesyłanie przez interfejs użytkownika i API ProcessMind
• Obsługują przyrostowe wczytywanie danych (delta)
• Można je skompresować gzip (.gz), aby przyspieszyć przesyłanie

7. Wskazówki