Podporované formáty záznamů událostí

Podporované formáty souborů pro nahrávání dat

ProcessMind podporuje řadu formátů souborů pro nahrávání záznamů událostí. Všechny lze nahrát přes uživatelské rozhraní aplikace i přes API.

Textové formáty

• .csv: Hodnoty oddělené čárkami. Běžný a nenáročný formát, do kterého umí exportovat většina systémů, včetně Excelu a ERP. Oddělovače se rozpoznají automaticky.
• .tsv: Hodnoty oddělené tabulátory. Podobné CSV, ale místo čárek používá tabulátory. Hodí se, když data obsahují čárky.
• .txt: Prosté textové soubory. Lze je použít, pokud mají jednotnou strukturu a oddělovače.
• .xes: Standardní formát záznamů událostí používaný v nástrojích pro process mining. Hodí se pro podrobné sledování aktivit s časovými razítky a ID případů.

Formáty Excelu

• .xls: Starší formát tabulek Excelu. Je podporovaný, ale načítání může být pomalejší než u novějších formátů.
• .xlsx: Moderní formát Excelu. Je široce používaný a plně podporovaný. Často se hodí pro strukturovaná data.
• .xlsb: Binární sešit Excelu. Načítá se rychleji a lépe zvládá velké datové sady než .xlsx, ale není podporovaný tak široce.

Binární a sloupcové formáty dat

• .parquet: Formát Apache Parquet. Sloupcový formát úložiště optimalizovaný pro analytické úlohy. Hodí se pro velké datové sady a u velkých objemů je výrazně rychlejší než CSV. Podporuje přírůstkové nahrávání (delta).
• .orc: Formát Optimized Row Columnar (ORC). Další úsporný sloupcový formát, běžný v prostředí Hadoop a Spark. Podporuje přírůstkové nahrávání (delta).
• .jsonl / .ndjson: Formát JSON Lines. Každý řádek obsahuje samostatný objekt JSON. Hodí se pro průběžný export dat z API a systémů pro zaznamenávání událostí. Podporuje přírůstkové nahrávání (delta).

Komprimované soubory

• .gz: Soubory komprimované pomocí gzip. Tímto způsobem lze komprimovat všechny výše uvedené formáty, například data.csv.gz, data.parquet.gz. ProcessMind automaticky rozpozná vnitřní formát a podle potřeby soubor rozbalí. Komprese gzip může zkrátit dobu nahrávání velkých souborů.

Obecné požadavky na strukturu souborů

Aby process mining v ProcessMind fungoval správně, musí nahrané soubory, ať už ve formátu Excel, textovém nebo XML, splňovat určité požadavky na strukturu. Aplikace pak data správně načte a přesně analyzuje.

1. Řádek záhlaví (Excel nebo textový formát)

• Soubor musí začínat řádkem záhlaví, který se nachází na prvním řádku, například v buňce A1 u souborů Excel nebo na řádku 1 u souborů CSV, TSV a TXT. Záhlaví určuje názvy sloupců a mělo by jasně popisovat typ dat v každém sloupci, například „ID případu“, „Aktivita“ nebo „Časové razítko“.
• U formátů CSV, TSV a TXT se oddělovače a uvozovky rozpoznají automaticky. Při nahrávání proto nemusíte tato nastavení zadávat ručně.
• U formátů Parquet a ORC se názvy sloupců a datové typy načítají přímo z vloženého schématu souboru. Řádek záhlaví není potřeba.
• U formátů JSONL/NDJSON se názvy sloupců odvozují z klíčů JSON na prvním řádku souboru.

2. Minimální sada atributů

Aby měl soubor strukturu záznamu událostí pro process mining, musí obsahovat alespoň následující atributy (sloupce). Názvy sloupců nemusí přesně odpovídat uvedeným názvům, například ID případu nebo Aktivita, musí však obsahovat popsané údaje.

• ID případu: Tento sloupec jednoznačně určuje každou instanci procesu neboli případ. Všechny řádky odpovídající stejné instanci procesu musí mít stejné ID případu.
• Aktivita: Tento sloupec popisuje zaznamenanou aktivitu nebo událost, například „Vytvoření objednávky“ nebo „Zpracování platby“.
• Časové razítko: Ke každé aktivitě musí být přiřazené časové razítko s přesným časem nebo datem události.
• Poznámka: Formát časového razítka se podle možností rozpozná automaticky. Běžné formáty, například yyyy-MM-dd HH:mm:ss, MM/dd/yyyy a další, se rozpoznají automaticky.
• Volitelné atributy: Pro podrobnější analýzu můžete přidat další sloupce, například:
• Zdroj: Určuje, kdo aktivitu provedl, například uživatele nebo oddělení.
• Náklady: Náklady spojené s aktivitou.
• Další vlastní údaje: Můžete přidat vlastní pole relevantní pro váš proces, pokud jsou přítomné všechny povinné sloupce.

Přesné sloupce závisí na procesu, který analyzujete. V našich návodech na zlepšování procesů najdete schéma potřebné pro každý proces: povinná pole, aktivity, které je třeba zaznamenat, i datovou šablonu k vyplnění.

3. Formátování dat

• Zajistěte jednotné formátování dat ve všech sloupcích:
• Časová razítka by měla mít běžný a rozpoznatelný formát, například yyyy-MM-dd HH:mm:ss. Pokud použijete jiný formát, ProcessMind se pokusí datum rozpoznat automaticky.
• Mezi řádky s daty nevkládejte prázdné řádky, mohly by narušit import.
• Číselné údaje, například náklady a doby trvání, musí být v Excelu uložené jako čísla. V textových souborech (CSV, TSV, TXT) je správně naformátujte.
• U formátů CSV, TSV a TXT ProcessMind automaticky rozpozná oddělovače, například čárky, tabulátory a středníky, a správně zpracuje text v uvozovkách.

4. Výběr listu (pouze soubory Excel)

• ProcessMind automaticky zpracuje data z prvního listu v souboru Excel (XLS, XLSX nebo XLSB), bez ohledu na jeho název. Povinná data pro záznam událostí umístěte na první list. Ostatní listy se při importu nezpracovávají.

5. Formát XES

Formát .xes (eXtensible Event Stream) je standardní typ souboru používaný pro záznamy událostí v process mining. Zachycuje podrobné informace o instancích procesů, například ID případů, aktivity, časová razítka a další důležité atributy.

Tento formát široce podporují nástroje pro process mining a hodí se k přesné rekonstrukci skutečného průběhu procesů.

Technické specifikace a podrobnosti najdete na oficiálním webu standardu XES.

6. Formáty Parquet, ORC a JSONL

Parquet a ORC jsou binární sloupcové formáty, které se běžně používají v datových procesech, například v Apache Spark, AWS Glue a Databricks. Obsahují vložené informace o schématu, takže ProcessMind automaticky rozpozná názvy sloupců a datové typy bez ručního nastavení.

Soubory JSONL (JSON Lines, označované také jako NDJSON) obsahují na každém řádku jeden objekt JSON. Každý objekt představuje jednu událost. Klíče JSON se použijí jako názvy sloupců. Tento formát se běžně používá při exportu dat z API, systémů pro zaznamenávání událostí a streamovacích platforem.

Všechny tři formáty:

• Podporují nahrávání přes uživatelské rozhraní i API ProcessMind
• Podporují přírůstkové nahrávání (delta)
• Lze je komprimovat pomocí gzip (.gz), což urychlí přenos

7. Tipy