Ondersteunde bestandsindelingen voor event logs

Ondersteunde bestanden voor data-upload

ProcessMind ondersteunt verschillende bestandsindelingen voor het uploaden van event logs. Je kunt ze allemaal uploaden via zowel de appinterface als de API.

Tekstindelingen

• .csv: Waarden gescheiden door komma’s. Een veelgebruikte, lichte indeling die de meeste systemen, zoals Excel en ERP-systemen, kunnen exporteren. Scheidingstekens worden automatisch herkend.
• .tsv: Waarden gescheiden door tabs. Vergelijkbaar met CSV, maar met tabs in plaats van komma’s. Handig als de data komma’s bevat.
• .txt: Platte tekstbestanden. Geschikt als de data een vaste structuur met scheidingstekens heeft.
• .xes: Standaardindeling voor event logs in process mining-tools. Geschikt voor gedetailleerde registratie van activiteiten, timestamps en case-ID’s.

Excel-indelingen

• .xls: Oudere Excel-werkmapindeling. Wordt ondersteund, maar kan langzamer laden dan nieuwere indelingen.
• .xlsx: Moderne Excel-indeling. Veelgebruikt en volledig ondersteund, vaak de beste keuze voor gestructureerde data.
• .xlsb: Binaire Excel-werkmap. Laadt sneller en verwerkt grote datasets beter dan .xlsx, maar wordt niet overal ondersteund.

Binaire en kolomindelingen

• .parquet: Apache Parquet-formaat. Een kolomgeoriënteerd opslagformaat, geoptimaliseerd voor analyses. Geschikt voor grote datasets en aanzienlijk sneller dan CSV bij grote hoeveelheden data. Ondersteunt incrementele uploads (delta).
• .orc: Optimized Row Columnar (ORC)-formaat. Een ander efficiënt kolomgeoriënteerd formaat dat veel wordt gebruikt in Hadoop- en Spark-omgevingen. Ondersteunt incrementele uploads (delta).
• .jsonl / .ndjson: JSON Lines-formaat. Elke regel is een afzonderlijk JSON-object. Geschikt voor data-export vanuit API’s en logsystemen. Ondersteunt incrementele uploads (delta).

Gecomprimeerde bestanden

• .gz: Bestanden gecomprimeerd met gzip. Je kunt alle bovenstaande indelingen met gzip comprimeren, bijvoorbeeld data.csv.gz en data.parquet.gz. ProcessMind herkent de oorspronkelijke indeling automatisch en pakt het bestand zo nodig uit. Gzip-compressie kan de uploadtijd van grote bestanden verkorten.

Algemene vereisten voor de bestandsstructuur

Voor process mining in ProcessMind moeten geüploade bestanden, of ze nu Excel-, tekst- of XML-bestanden zijn, aan een aantal structurele vereisten voldoen. Zo kan de app de data goed lezen en analyseren.

1. Kopregel (Excel of tekstbestand)

• Het bestand moet beginnen met een kopregel op de eerste regel, bijvoorbeeld in cel A1 van een Excel-bestand of op regel 1 van een CSV-, TSV- of TXT-bestand. De kopregel bevat de kolomnamen. Die moeten duidelijk aangeven welk type data elke kolom bevat, bijvoorbeeld ‘Case-ID’, ‘Activiteit’ en ‘Timestamp’.
• Bij CSV-, TSV- en TXT-bestanden worden scheidingstekens en aanhalingstekens automatisch herkend. Je hoeft deze instellingen dus niet zelf op te geven.
• Bij Parquet- en ORC-bestanden worden kolomnamen en datatypen rechtstreeks uit het ingebouwde bestandsschema gelezen. Een kopregel is niet nodig.
• Bij JSONL/NDJSON-bestanden worden de kolomnamen afgeleid van de JSON-sleutels op de eerste regel.

2. Minimale set attributen

Een event log voor process mining moet minimaal de volgende attributen (kolommen) bevatten. De kolomnamen hoeven niet overeen te komen met de namen hieronder, zoals Case-ID of Activiteit, maar de kolommen moeten wel de beschreven inhoud bevatten.

• Case-ID: Deze kolom identificeert elk procesexemplaar (of elke case) op unieke wijze. Alle rijen van hetzelfde procesexemplaar moeten dezelfde Case-ID hebben.
• Activiteit: Deze kolom beschrijft de activiteit of gebeurtenis die is vastgelegd, bijvoorbeeld ‘Order aangemaakt’ of ‘Betaling verwerkt’.
• Timestamp: Bij elke activiteit hoort een timestamp met de exacte datum of tijd waarop de gebeurtenis plaatsvond.
• Notitie: De timestamp-indeling wordt zo veel mogelijk automatisch herkend. Veelgebruikte indelingen zoals yyyy-MM-dd HH:mm:ss en MM/dd/yyyy worden automatisch herkend.
• Optionele attributen: Je kunt extra kolommen toevoegen om je analyse te verbeteren, zoals:
• Bron: Geeft aan wie de activiteit heeft uitgevoerd, bijvoorbeeld een gebruiker of afdeling.
• Kosten: Eventuele kosten die bij de activiteit horen.
• Andere eigen data: Je kunt eigen velden toevoegen die relevant zijn voor je proces, zolang de verplichte kolommen aanwezig zijn.

Welke kolommen je nodig hebt, hangt af van het proces dat je analyseert. In onze gidsen voor procesverbetering staat welk schema elk proces nodig heeft: de verplichte velden, de vast te leggen activiteiten en een datatemplate die je kunt invullen.

3. Data-indeling

• Zorg dat de data in alle kolommen dezelfde indeling heeft:
• Gebruik een standaardindeling voor timestamps die goed wordt herkend, bijvoorbeeld yyyy-MM-dd HH:mm:ss. ProcessMind probeert de datumindeling ook automatisch te herkennen als die anders is.
• Laat geen lege rijen tussen de data staan. Die kunnen het importeren verstoren.
• Zorg dat numerieke data, zoals kosten en doorlooptijden, in Excel als getallen is opgemaakt. Gebruik in tekstbestanden (CSV, TSV, TXT) de juiste getalnotatie.
• Bij CSV-, TSV- en TXT-bestanden herkent ProcessMind automatisch de scheidingstekens, zoals komma’s, tabs en puntkomma’s, en verwerkt het tekst tussen aanhalingstekens.

4. Werkblad kiezen (alleen voor Excel-bestanden)

• ProcessMind verwerkt automatisch data uit het eerste werkblad van je Excel-bestand (XLS, XLSX of XLSB), ongeacht de naam van het werkblad. Zet de vereiste event log-data op het eerste werkblad. Andere werkbladen worden niet meegenomen bij het importeren.

5. XES-indeling

De indeling .xes (eXtensible Event Stream) is een standaardbestandsindeling voor event logs in process mining. Ze bevat gedetailleerde informatie over procesexemplaren, zoals case-ID’s, activiteiten, timestamps en andere relevante attributen.

Deze indeling wordt breed ondersteund door process mining-tools en is geschikt om het werkelijke procesverloop nauwkeurig in kaart te brengen.

Ga voor technische specificaties en alle details naar de officiële XES-standaardwebsite.

6. Parquet-, ORC- en JSONL-indelingen

Parquet en ORC zijn binaire kolomindelingen die veel worden gebruikt in data-engineeringprocessen, bijvoorbeeld met Apache Spark, AWS Glue en Databricks. Ze bevatten informatie over het schema, zodat ProcessMind kolomnamen en datatypen automatisch herkent. Je hoeft niets handmatig in te stellen.

JSONL-bestanden (JSON Lines, ook bekend als NDJSON) bevatten één JSON-object per regel. Elk object staat voor één event. De JSON-sleutels worden de kolomnamen. Deze indeling wordt vaak gebruikt voor data-export uit API’s, logsystemen en streamingplatforms.

Alle drie de indelingen:

• Ondersteunt uploaden via zowel de gebruikersinterface als de ProcessMind API
• Ondersteunt incrementele uploads (delta)
• Kan worden gecomprimeerd met gzip (.gz) voor snellere overdracht

7. Tips