Formati di dati supportati per gli Event Log

Supporto dei file per il caricamento dei dati

ProcessMind supporta numerosi formati di file per il caricamento degli Event Log. Può caricarli tutti sia tramite l’interfaccia dell’applicazione sia tramite l’API.

Formati basati su testo

• .csv: valori separati da virgole. Formato comune e leggero, esportabile dalla maggior parte dei sistemi, inclusi Excel e gli ERP. I delimitatori vengono rilevati automaticamente.
• .tsv: valori separati da tabulazioni. Simile al CSV, ma utilizza tabulazioni anziché virgole; è utile quando i dati contengono virgole.
• .txt: file di testo semplice. Può essere utilizzato se strutturato in un formato coerente con delimitatori.
• .xes: formato standard per gli Event Log utilizzato dagli strumenti di Process Mining. È ideale per il tracciamento dettagliato delle attività con timestamp e ID dei casi.

Formati Excel

• .xls: formato dei fogli di calcolo Excel, versione precedente. Supportato, ma potrebbe essere caricato più lentamente rispetto ai formati più recenti.
• .xlsx: formato Excel moderno. Ampiamente utilizzato e pienamente supportato, spesso preferito per i dati strutturati.
• .xlsb: cartella di lavoro binaria Excel. Si carica più rapidamente e gestisce meglio i dataset di grandi dimensioni rispetto a .xlsx, ma è supportato in modo meno universale.

Formati di dati binari/colonnari

• .parquet: formato Apache Parquet. Formato di archiviazione colonnare ottimizzato per i carichi di lavoro analitici. Ideale per grandi volumi di dati, è significativamente più veloce del CSV con i big data. Supporta i caricamenti incrementali (delta).
• .orc: formato Optimized Row Columnar (ORC). Un altro formato colonnare efficiente, comune negli ecosistemi Hadoop/Spark. Supporta i caricamenti incrementali (delta).
• .jsonl / .ndjson: formato JSON Lines. Ogni riga contiene un oggetto JSON separato. È ideale per esportare dati in streaming da API e sistemi di logging. Supporta i caricamenti incrementali (delta).

File compressi

• .gz: file compressi con Gzip. Tutti i formati precedenti possono essere compressi con gzip, ad esempio data.csv.gz e data.parquet.gz. ProcessMind rileva automaticamente il formato interno e decomprime il file quando necessario. La compressione gzip può ridurre i tempi di caricamento dei file di grandi dimensioni.

Requisiti generali della struttura dei file

Per eseguire correttamente il Process Mining in ProcessMind, i file caricati, indipendentemente dal fatto che siano in formato Excel, basato su testo o XML, devono rispettare specifiche linee guida strutturali. In questo modo l’applicazione può interpretare correttamente i dati ed eseguire un’analisi accurata.

1. Riga di intestazione (Excel o formato basato su testo)

• Il file deve iniziare con una riga di intestazione, che deve trovarsi nella prima riga, ad esempio nella cella A1 per i file Excel o nella riga 1 per i file CSV, TSV o TXT. L’intestazione definisce i nomi delle colonne e deve indicare chiaramente il tipo di dati contenuto in ciascuna colonna, ad esempio “ID del caso,” “Attività,” “Timestamp”.
• Per i formati CSV, TSV e TXT, delimitatori e virgolette vengono rilevati automaticamente, così può caricare più facilmente i dati senza specificare manualmente queste impostazioni.
• Per i formati Parquet e ORC, i nomi delle colonne e i tipi di dati vengono letti direttamente dallo schema incorporato nel file: non è necessaria alcuna riga di intestazione.
• Per i formati JSONL/NDJSON, i nomi delle colonne vengono ricavati dalle chiavi JSON presenti nella prima riga del file.

2. Set minimo di attributi

Per supportare la struttura di un Event Log di Process Mining, il file deve contenere almeno i seguenti attributi, ovvero colonne. Non è necessario che i nomi delle colonne corrispondano a quelli indicati, come ID del caso o Attività, ma devono contenere le informazioni specificate.

• ID del caso: questa colonna identifica in modo univoco ogni istanza del processo, o caso. Ogni riga relativa alla stessa istanza del processo deve avere lo stesso ID del caso.
• Attività: questa colonna deve descrivere l’attività o l’evento specifico registrato, ad esempio “Ordine creato” o “Pagamento elaborato”.
• Timestamp: ogni attività deve essere associata a un timestamp che indichi l’ora o la data esatta in cui si è verificato l’evento.
• Nota: il formato del timestamp verrà rilevato automaticamente per quanto possibile. I formati comuni, come yyyy-MM-dd HH:mm:ss, MM/dd/yyyy e altri, vengono riconosciuti automaticamente.
• Attributi facoltativi: può includere colonne aggiuntive per migliorare l’analisi, ad esempio:
• Risorsa: identifica chi ha eseguito l’attività, ad esempio un utente o un reparto.
• Costo: qualsiasi costo associato all’attività.
• Altri dati personalizzati: può includere campi personalizzati pertinenti al processo specifico, purché siano presenti le colonne obbligatorie.

Le colonne esatte dipendono dal processo analizzato. Le nostre guide per il miglioramento dei processi descrivono lo schema necessario per ciascun processo: i campi obbligatori, le attività da acquisire e un template di dati da compilare.

3. Formattazione dei dati

• Si assicuri che i dati siano formattati in modo coerente in tutte le colonne:
• I timestamp devono utilizzare un formato standard e riconoscibile, ad esempio yyyy-MM-dd HH:mm:ss, anche se ProcessMind tenterà di rilevare automaticamente il formato della data quando è diverso.
• Eviti le righe vuote tra le voci di dati, poiché potrebbero interrompere il processo di importazione.
• Si assicuri che i dati numerici, ad esempio costi e durate, siano formattati come numeri in Excel o correttamente formattati nei file basati su testo, come CSV, TSV e TXT.
• Per i formati CSV, TSV e TXT, ProcessMind rileva automaticamente i delimitatori, come virgole, tabulazioni e punti e virgola, e gestisce automaticamente il testo tra virgolette.

4. Selezione del foglio (solo per i file Excel)

• ProcessMind elabora automaticamente i dati del primo foglio del file Excel, nei formati XLS, XLSX o XLSB, indipendentemente dal nome del foglio. Si assicuri che i dati dell’Event Log richiesti siano inseriti nel primo foglio, poiché i fogli aggiuntivi non verranno considerati durante l’importazione.

5. Formato XES

Il formato .xes, ovvero eXtensible Event Stream, è un tipo di file standard utilizzato per gli Event Log nel Process Mining. Contiene informazioni dettagliate sulle istanze del processo, come ID del caso, attività, timestamp e altri attributi pertinenti.

È ampiamente supportato dagli strumenti di Process Mining ed è ideale per ricostruire con precisione il comportamento reale dei processi.

Per le specifiche tecniche e tutti i dettagli, visiti il sito web ufficiale dello standard XES.

6. Formati Parquet, ORC e JSONL

Parquet e ORC sono formati binari colonnari ampiamente utilizzati nelle pipeline di ingegneria dei dati, ad esempio Apache Spark, AWS Glue e Databricks. Includono informazioni sullo schema incorporate, quindi ProcessMind rileva automaticamente i nomi delle colonne e i tipi di dati senza alcuna configurazione manuale.

I file JSONL, ovvero JSON Lines, noto anche come NDJSON, contengono un oggetto JSON per riga. Ogni oggetto rappresenta un singolo evento. Le chiavi JSON diventano i nomi delle colonne. Questo formato è comune quando si esportano dati da API, sistemi di logging o piattaforme di streaming.

Tutti e tre i formati:

• Supportano il caricamento sia tramite l’interfaccia utente sia tramite l’ProcessMind API
• Supportano i caricamenti incrementali (delta)
• Possono essere compressi con gzip, .gz, per velocizzare il trasferimento

7. Suggerimenti