Formati di dati supportati per gli Event Log

Formati di file supportati per il caricamento dei dati

ProcessMind supporta numerosi formati di file per il caricamento degli Event Log. Può caricarli tutti sia dall’interfaccia dell’applicazione sia tramite API.

Formati basati su testo

• .csv: valori separati da virgole. È un formato comune e leggero, esportabile dalla maggior parte dei sistemi, tra cui Excel ed ERP. I delimitatori vengono rilevati automaticamente.
• .tsv: valori separati da tabulazioni. Simile al CSV, ma utilizza le tabulazioni anziché le virgole; è utile quando i dati contengono virgole.
• .txt: file di testo semplice. Può essere utilizzato se i dati sono organizzati in un formato delimitato e coerente.
• .xes: formato standard per gli Event Log utilizzato dagli strumenti di Process Mining. Ideale per registrare in dettaglio le attività con Timestamp e ID del caso.

Formati Excel

• .xls: formato dei fogli di calcolo Excel meno recente. È supportato, ma il caricamento può essere più lento rispetto ai formati più recenti.
• .xlsx: formato Excel moderno, ampiamente utilizzato e pienamente supportato, spesso preferito per i dati strutturati.
• .xlsb: cartella di lavoro binaria di Excel. Si carica più rapidamente e gestisce dataset di grandi dimensioni meglio di .xlsx, ma è meno compatibile con altri strumenti.

Formati binari e colonnari

• .parquet: formato Apache Parquet, con archiviazione colonnare ottimizzata per l’analisi. È ideale per dataset di grandi dimensioni e, con volumi elevati, è molto più rapido del CSV. Supporta i caricamenti incrementali (delta).
• .orc: formato Optimized Row Columnar (ORC), un altro formato colonnare efficiente, diffuso negli ecosistemi Hadoop e Spark. Supporta i caricamenti incrementali (delta).
• .jsonl / .ndjson: formato JSON Lines, in cui ogni riga contiene un oggetto JSON distinto. È adatto alle esportazioni di dati in streaming da API e sistemi di registrazione. Supporta i caricamenti incrementali (delta).

File compressi

• .gz: file compressi con gzip. È possibile comprimere con gzip tutti i formati indicati sopra, ad esempio data.csv.gz e data.parquet.gz. ProcessMind rileva automaticamente il formato originale e decomprime il file quando necessario. La compressione gzip può ridurre i tempi di caricamento dei file voluminosi.

Requisiti generali per la struttura dei file

Per eseguire correttamente il Process Mining in ProcessMind, i file caricati, siano essi Excel, di testo o XML, devono rispettare specifiche regole strutturali. In questo modo l’applicazione può interpretare correttamente i dati ed eseguire analisi accurate.

1. Riga di intestazione (Excel o formato basato su testo)

• Il file deve iniziare con una riga di intestazione, che deve trovarsi nella prima riga (ad esempio, cella A1 nei file Excel oppure riga 1 nei file CSV, TSV o TXT). L’intestazione definisce i nomi delle colonne e dovrebbe indicare chiaramente il tipo di dati contenuti in ciascuna colonna (ad esempio, “ID del caso”, “Attività”, “Timestamp”).
• Nei formati CSV, TSV e TXT, i delimitatori e le virgolette vengono rilevati automaticamente, così può caricare i Suoi dati senza specificare manualmente queste impostazioni.
• Nei formati Parquet e ORC, i nomi delle colonne e i tipi di dati vengono letti direttamente dallo schema incorporato nel file: non è necessaria una riga di intestazione.
• Nei formati JSONL/NDJSON, i nomi delle colonne vengono ricavati dalle chiavi JSON presenti nella prima riga del file.

2. Insieme minimo di attributi

Per supportare la struttura di un Event Log per il Process Mining, il file deve contenere almeno i seguenti attributi (colonne). Non è necessario che i nomi delle colonne corrispondano a quelli indicati (ID del caso, Attività e così via), ma devono contenere le informazioni specificate.

• ID del caso: questa colonna identifica in modo univoco ogni istanza del processo, o caso. Tutte le righe relative alla stessa istanza del processo devono avere lo stesso ID del caso.
• Attività: questa colonna descrive l’attività o l’evento specifico registrato, ad esempio «Ordine creato» o «Pagamento elaborato».
• Data e ora: a ogni attività deve essere associato un timestamp che indichi la data o l’ora esatta in cui si è verificato l’evento.
• Nota: il formato del timestamp viene rilevato automaticamente per quanto possibile. I formati più comuni, come yyyy-MM-dd HH:mm:ss, MM/dd/yyyy e altri, vengono riconosciuti automaticamente.
• Attributi facoltativi: può includere altre colonne per arricchire l’analisi, ad esempio:
• Risorsa: indica chi ha svolto l’attività, ad esempio un utente o un reparto.
• Costo: eventuali costi associati all’attività.
• Altri dati personalizzati: può includere campi personalizzati pertinenti al processo specifico, purché siano presenti le colonne obbligatorie.

Le colonne esatte dipendono dal processo che sta analizzando. Le nostre guide al miglioramento dei processi descrivono lo schema necessario per ciascun processo: i campi obbligatori, le attività da registrare e un template di dati da compilare.

3. Formattazione dei dati

• Si assicuri che i dati siano formattati in modo uniforme in tutte le colonne:
• I timestamp devono usare un formato standard e riconoscibile (ad esempio, yyyy-MM-dd HH:mm:ss), anche se ProcessMind proverà a rilevare automaticamente il formato della data quando è diverso.
• Eviti righe vuote tra le voci, perché potrebbero interferire con l’importazione.
• Si assicuri che i dati numerici (ad esempio, costi e durate) siano formattati come numeri in Excel o nel formato corretto nei file di testo (CSV, TSV, TXT).
• Nei formati CSV, TSV e TXT, ProcessMind rileva automaticamente i delimitatori (virgole, tabulazioni, punti e virgola e così via) e gestisce automaticamente il testo tra virgolette.

4. Selezione del foglio (solo per file Excel)

• ProcessMind elabora automaticamente i dati del primo foglio del file Excel (XLS, XLSX o XLSB), indipendentemente dal nome. Si assicuri che i dati dell’Event Log richiesti si trovino nel primo foglio: gli altri fogli non verranno considerati durante l’importazione.

5. Formato XES

Il formato .xes (eXtensible Event Stream) è un formato di file standard per gli Event Log nel Process Mining. Contiene informazioni dettagliate sulle istanze del processo, come gli ID dei casi, le attività, i timestamp e altri attributi pertinenti.

È ampiamente supportato dagli strumenti di Process Mining ed è ideale per ricostruire con precisione il comportamento effettivo dei processi.

Per consultare le specifiche tecniche e tutti i dettagli, visiti il sito ufficiale dello standard XES.

6. Formati Parquet, ORC e JSONL

Parquet e ORC sono formati binari colonnari ampiamente utilizzati nelle pipeline di ingegneria dei dati (Apache Spark, AWS Glue, Databricks e così via). Includono informazioni sullo schema, quindi ProcessMind rileva automaticamente i nomi delle colonne e i tipi di dati senza richiedere configurazioni manuali.

I file JSONL (JSON Lines, detto anche NDJSON) contengono un oggetto JSON per riga. Ogni oggetto rappresenta un singolo evento e le chiavi JSON diventano i nomi delle colonne. Questo formato è comune per esportare dati da API, sistemi di registrazione o piattaforme di streaming.

Tutti e tre i formati:

• Supportano il caricamento sia tramite l’interfaccia utente sia tramite l’API di ProcessMind
• Supportano i caricamenti incrementali (delta)
• Possono essere compressi con gzip (.gz) per velocizzare il trasferimento

7. Suggerimenti