Támogatott adatformátumok eseménynaplókhoz

Támogatott fájlformátumok feltöltéshez

A ProcessMind számos fájlformátumot támogat eseménynaplók feltöltéséhez. Mindegyik feltölthető az alkalmazás felületén és az API-n keresztül is.

Szöveges formátumok

• .csv: Vesszővel tagolt értékek. Elterjedt, kis méretű formátum, amelybe a legtöbb rendszer, például az Excel és az ERP-rendszerek is tudnak adatot exportálni. Az elválasztójelet a rendszer automatikusan felismeri.
• .tsv: Tabulátorral tagolt értékek. A CSV-hez hasonló, de vessző helyett tabulátort használ, ezért hasznos, ha az adatok vesszőket tartalmaznak.
• .txt: Egyszerű szöveges fájlok. Akkor használhatók, ha az adatok egységes, elválasztójelekkel tagolt formátumban szerepelnek.
• .xes: A process mining eszközökben használt eseménynaplók szabványos formátuma. Részletes tevékenységkövetéshez ideális, időbélyegekkel és esetazonosítókkal.

Excel-formátumok

• .xls: Régebbi Excel-munkafüzet-formátum. Támogatott, de betöltése lassabb lehet az újabb formátumokénál.
• .xlsx: Modern Excel-formátum. Széles körben használt és teljes mértékben támogatott, strukturált adatokhoz gyakran ezt érdemes választani.
• .xlsb: Bináris Excel-munkafüzet. Gyorsabban tölthető be, és nagy adatkészletek kezelésére alkalmasabb, mint a .xlsx, de nem minden rendszer támogatja.

Bináris és oszlopalapú adatformátumok

• .parquet: Apache Parquet formátum. Elemzési feladatokra optimalizált, oszlopalapú tárolási formátum. Nagy adatkészletekhez kiváló, nagy adatmennyiségnél pedig jelentősen gyorsabb a CSV-nél. Támogatja a növekményes (delta) feltöltést.
• .orc: Optimized Row Columnar (ORC) formátum. Hatékony oszlopalapú formátum, amelyet gyakran használnak a Hadoop- és Spark-környezetekben. Támogatja a növekményes (delta) feltöltést.
• .jsonl / .ndjson: JSON Lines formátum. Minden sor külön JSON-objektumot tartalmaz. API-kból és naplózó rendszerekből származó adatfolyamok exportálásához ideális. Támogatja a növekményes (delta) feltöltést.

Tömörített fájlok

• .gz: Gzip-tömörítésű fájlok. A fenti formátumok bármelyike tömöríthető gzip-pel, például data.csv.gz vagy data.parquet.gz. A ProcessMind automatikusan felismeri a fájl belső formátumát, és szükség esetén kicsomagolja. A gzip-tömörítés nagy fájloknál csökkentheti a feltöltési időt.

Általános fájlszerkezeti követelmények

Ahhoz, hogy a process mining megfelelően működjön a ProcessMindben, a feltöltött fájloknak, legyenek Excel-, szöveges vagy XML-formátumúak, meg kell felelniük bizonyos szerkezeti követelményeknek. Ezek biztosítják, hogy az alkalmazás helyesen értelmezze az adatokat, és pontos elemzést készítsen.

1. Fejlécsor (Excel- vagy szöveges fájlokban)

• A fájlnak fejlécsort kell tartalmaznia az első sorban (például Excel-fájl esetén az A1-es cellában, CSV-, TSV- vagy TXT-fájl esetén pedig az 1. sorban). A fejléc határozza meg az oszlopneveket, amelyekből egyértelműen ki kell derülnie az egyes oszlopok adattípusának (például „Esetazonosító”, „Tevékenység”, „Időbélyeg”).
• CSV-, TSV- és TXT-fájlok esetén a rendszer automatikusan felismeri az elválasztójeleket és az idézőjeleket, így az adatok feltöltése előtt nem kell kézzel megadnia ezeket a beállításokat.
• A Parquet és ORC formátumoknál az oszlopneveket és az adattípusokat a rendszer közvetlenül a fájlba ágyazott sémából olvassa be, ezért nincs szükség fejlécsorra.
• A JSONL/NDJSON formátumoknál az oszlopnevek a fájl első sorában szereplő JSON-kulcsokból származnak.

2. Szükséges alapattribútumok

A process mining eseménynapló szerkezetéhez a fájlnak legalább a következő attribútumokat (oszlopokat) kell tartalmaznia. Az oszlopneveknek nem kell egyezniük az itt megadott nevekkel (Esetazonosító, Tevékenység stb.), de az oszlopoknak a leírt adatokat kell tartalmazniuk.

• Esetazonosító: ez az oszlop egyedileg azonosítja az egyes folyamatpéldányokat (eseteket). Az ugyanahhoz a folyamatpéldányhoz tartozó minden sorban ugyanazt az esetazonosítót kell megadni.
• Tevékenység: ez az oszlop írja le a rögzített tevékenységet vagy eseményt, például: „Rendelés létrehozva”, „Fizetés feldolgozva”.
• Időbélyeg: minden tevékenységhez olyan időbélyegnek kell tartoznia, amely megadja az esemény pontos időpontját vagy dátumát.
• Megjegyzés: a rendszer lehetőség szerint automatikusan felismeri** az időbélyeg formátumát. A gyakori formátumokat, például a **, a yyyy-MM-dd HH:mm:ss és másokat automatikusan felismeri.MM/dd/yyyy
• További attribútumok**: az elemzés részletesebbé tételéhez további oszlopokat is felvehet, például:**
• Erőforrás**: megadja, ki végezte a tevékenységet, például a felhasználót vagy a részleget.**
• Költség**: a tevékenységhez kapcsolódó költségek.**
• Egyéb egyéni adatok**: a folyamathoz kapcsolódó egyéni mezőket is felvehet, amennyiben a szükséges oszlopok szerepelnek a fájlban.**

A szükséges oszlopok pontos köre az elemzett folyamattól függ. A folyamatfejlesztési útmutatóink ismertetik az egyes folyamatokhoz szükséges sémát: a kötelező mezőket, a rögzítendő tevékenységeket, valamint a kitölthető adatsablont.

3. Adatok formázása

• Ügyeljen arra, hogy minden oszlopban egységes formátumban szerepeljenek az adatok:
• Az időbélyegek legyenek szabványos, felismerhető formátumúak, például yyyy-MM-dd HH:mm:ss. Ha más dátumformátumot használ, a ProcessMind megpróbálja automatikusan felismerni.
• Ne hagyjon üres sorokat az adatok között, mert ez megzavarhatja az importálást.
• Az Excelben a számadatokat, például a költségeket és az időtartamokat számként formázza. Szöveges fájlokban (CSV, TSV, TXT) gondoskodjon a megfelelő formázásról.
• CSV-, TSV- és TXT-fájloknál a ProcessMind automatikusan felismeri** az elválasztójeleket, például a vesszőt, a tabulátort és a pontosvesszőt, valamint kezeli az idézőjelek közé tett szövegeket.**

4. Munkalap kiválasztása (csak Excel-fájloknál)

• A ProcessMind automatikusan az Excel-fájl (XLS, XLSX vagy XLSB) első munkalapjáról dolgozza fel az adatokat, a munkalap nevétől függetlenül. A szükséges eseménynapló-adatoknak az első munkalapon kell szerepelniük, mert az importálás során a rendszer figyelmen kívül hagyja a további munkalapokat.

5. XES-formátum

A .xes (eXtensible Event Stream) formátum a process mining során használt eseménynaplók szabványos fájlformátuma. Részletes adatokat tárol a folyamatpéldányokról, például az ügyazonosítóról, a tevékenységekről, az időbélyegekről és más releváns attribútumokról.

A formátumot széles körben támogatják a process mining eszközök, és alkalmas a folyamatok valós működésének pontos rekonstruálására.

A műszaki leírást és a részleteket az XES-szabvány hivatalos weboldalán találja.

6. Parquet-, ORC- és JSONL-formátumok

A Parquet és az ORC olyan bináris, oszlopalapú formátumok, amelyeket széles körben használnak az adatfeldolgozási folyamatokban, például az Apache Sparkban, az AWS Glue-ban és a Databricksben. Beágyazott sémainformációt tartalmaznak, ezért a ProcessMind kézi beállítás nélkül felismeri az oszlopneveket és az adattípusokat.

A JSONL-fájlok (JSON Lines, más néven NDJSON) minden sorban egy JSON-objektumot tartalmaznak. Minden objektum egy eseményt jelöl, a JSON-kulcsok pedig oszlopnevekké válnak. Ezt a formátumot gyakran használják API-kból, naplózó rendszerekből és adatfolyam-platformokról történő exportáláskor.

Mindhárom formátum:

• Az alkalmazás felületén és a ProcessMind API-n keresztül is feltölthető
• Támogatja a növekményes (delta) feltöltést
• Gzip formátumban tömöríthető (.gz) a gyorsabb adatátvitel érdekében

7. Tippek