Strumenti ETL per il Process Mining: quali servono

Serve l’ETL per il Process Mining?

Gli strumenti ETL estraggono i dati dai sistemi di origine, li trasformano in un formato adatto all’analisi e li caricano. In questo articolo vediamo quale lavoro ETL richiede davvero un progetto di Process Mining e quando se ne può fare a meno. Non è una guida alla scelta di una pipeline: se un sistema consente di esportare i record e il file contiene un ID del caso, un’attività e data e ora, spesso per una prima analisi può bastare caricare direttamente l’esportazione, senza creare una pipeline.

La risposta dipende dal processo, dai sistemi coinvolti e dalla frequenza con cui occorre aggiornare l’analisi. Inizi con l’estrazione più semplice che possa rispondere a una domanda, poi aggiunga la preparazione e l’automazione quando la prima analisi dimostrerà che servono.

Tre situazioni giustificano il lavoro ETL:

• Il processo coinvolge più sistemi. Prima di poter seguire un caso dall’inizio alla fine, occorre unire i record e allineare i relativi identificativi.
• I dati di origine non sono utilizzabili così come sono. Prima dell’analisi occorre standardizzare i nomi delle attività, le date e le ore o gli identificativi dei casi.
• L’estrazione deve essere ripetuta. Se i dati cambiano ogni giorno e l’analisi deve essere aggiornata di conseguenza, l’esportazione manuale non è più pratica.

Sono motivi per preparare i dati, non per creare una pipeline prima di aver risposto alla prima domanda. Carichi i dati disponibili, verifichi che cosa manca e decida come procedere.

Può anche fare a meno di una pipeline separata quando:

• Il processo viene registrato principalmente in un solo sistema.
• È possibile esportare i record pertinenti.
• L’esportazione contiene un ID del caso, un’attività e una data e ora.
• Il file è abbastanza piccolo da poter essere preparato manualmente.
• Sta ancora verificando se i dati possono rispondere alla Sua domanda.

Un foglio di calcolo è adatto per rinominare le colonne, correggere le incongruenze più evidenti ed eliminare i campi non necessari. La preparazione manuale non deve essere permanente: quando l’analisi si dimostra utile e i dati devono essere aggiornati spesso, automatizzi i passaggi che si ritrova a ripetere.

Quali dati deve contenere l’estrazione

Un Event Log per il Process Mining richiede tre campi e una riga per ogni evento.

Attributi come costo, utente, team, segmento di clientela o impronta di carbonio sono facoltativi. Sono però questi a trasformare una vista del processo in un’analisi: ogni attributo mantenuto diventa in seguito un filtro, una suddivisione o una misura. Il riferimento agli attributi del set di dati spiega quali possibilità offre ciascun campo.

Un campo può essere presente nella fonte e risultare comunque inutilizzabile. Se l’ID del caso cambia da un sistema all’altro, gli eventi non si collegheranno. Nomi delle attività incoerenti trasformano un unico passaggio reale in tre passaggi distinti. Se una data e ora è memorizzata come testo, gli eventi potrebbero risultare in ordine errato. Esamini l’esportazione prima di mapparla e verifichi innanzitutto i tre campi obbligatori. Per una panoramica più ampia sui dati necessari in un Event Log, consulti quali dati servono per il Process Mining.

Una query minima per un Event Log

Se la fonte contiene già una riga per ogni attività, basta una query di selezione. Questo esempio presuppone una tabella denominata process_events con un caso, un’attività e l’ora dell’evento:

SELECT
  case_id        AS case_id,
  activity_name  AS activity,
  event_time     AS timestamp
FROM process_events
WHERE case_id IS NOT NULL
  AND activity_name IS NOT NULL
  AND event_time IS NOT NULL
ORDER BY case_id, event_time;

La query assegna un nome ai tre campi, esclude le righe inutilizzabili e ordina gli eventi all’interno di ogni caso. Adatti i nomi della tabella e delle colonne alla fonte, quindi controlli un campione di casi prima del caricamento: ogni caso deve contenere gli eventi previsti, nell’ordine riconosciuto da chi svolge il lavoro.

Quali passaggi di trasformazione sono importanti

La trasformazione dovrebbe correggere gli elementi che altrimenti falserebbero l’analisi. Nella maggior parte dei casi bastano quattro passaggi.

1. Normalizzare gli eventi

   Inserisca ogni occorrenza di un’attività in una riga distinta, insieme all’ID del caso e alla data e ora, anche quando la fonte registra i passaggi del processo in colonne separate.

2. Rendere utilizzabili le date e le ore

   Verifichi che i valori siano date e ore valide e stabilisca se indicano l’ora locale o UTC. Allinei i fusi orari delle fonti combinate, altrimenti l’ordine degli eventi risulterà errato.

3. Standardizzare i nomi delle attività

   Utilizzi un solo nome per ogni passaggio reale, nella stessa lingua e con la stessa grafia. Non accorpi passaggi solo apparentemente simili per accorciare l’elenco.

4. Unire le fonti solo quando serve

   Individui la chiave che collega i record e verifichi che corrisponda. Un’unione che duplica eventi o esclude casi modifica la vista del processo: confronti il numero di record prima e dopo.

Se l’esportazione contiene già una riga per ogni evento e i tre campi necessari, non c’è nulla da trasformare. È un risultato normale, non una scorciatoia. Come creare un Event Log per il Process Mining illustra gli stessi passaggi con esempi in Excel e SQL.

Dove caricare l’event log?

Carichi i dati preparati nella piattaforma in cui li analizzerà. Per una prima verifica basta un singolo file: lo prepari, lo carichi, consulti la vista del processo e perfezioni l’estrazione dopo aver verificato quali analisi consentono i dati. Eviti di creare un nuovo livello di archiviazione solo per il Process Mining. Se il Suo team gestisce già un data warehouse o un data lake, lasci i dati lì e carichi i file prodotti da quell’ambiente.

La pagina dedicata ai formati di dati supportati contiene tutti i dettagli. Gli stessi formati possono essere inviati tramite un’attività pianificata usando l’API dei dati, se si preferisce non caricarli manualmente.

Il dataset caricato viene associato al modello. Il pannello mostra i casi inclusi e segnala le attività non ancora mappate. Source: ProcessMind

Qualunque sia il metodo scelto, il caricamento dovrebbe avvenire nell’ambiente in cui si svolge l’analisi. Un file in una cartella che nessuno controlla non è una strategia per i dati; lo è invece un dataset che qualcuno mappa e sottopone a revisione.

Quali strumenti ETL sono adatti al Process Mining?

Non esiste un elenco di strumenti ETL adatto a ogni progetto. La scelta dipende da dove si trovano i dati, dagli strumenti già utilizzati dal Suo team e dal livello di preparazione richiesto dall’event log. Si tratta di normale ingegneria dei dati; l’unico requisito specifico per il Process Mining è che i dati prodotti mantengano l’ID del caso, l’attività e la marca temporale.

Tra i nomi più ricorrenti nei progetti di Process Mining figurano CData e dbt per l’estrazione dei dati e le trasformazioni SQL, BigQuery, Snowflake e Databricks per i data warehouse, e Talend, Apache NiFi e Airbyte quando la difficoltà principale è trasferire i dati tra sistemi. Anche le soluzioni open source sono una scelta concreta: NiFi e Airbyte sono spesso i punti di partenza. Alcuni fornitori propongono inoltre soluzioni ETL pensate per il Process Mining, tra cui Evidant e Konekti, con template per i sistemi più comuni.

Si tratta di esempi, non di raccomandazioni, e nessuno di questi fornitori è un nostro partner. Preferisca strumenti e formati che il Suo team possa continuare a mantenere anche dopo il progetto e, quando possibile, conservi la logica di trasformazione al di fuori del prodotto di Process Mining. L’ETL integrato va valutato con particolare attenzione: è pratico se si continua a usare la stessa piattaforma, ma colloca la preparazione dei dati in un ambiente in cui sarà più difficile riutilizzarla per il successivo progetto di analisi o di AI.

Come gestire i dati dopo averli caricati?

L’estrazione è solo metà del lavoro. La gestione dei dataset determina se l’analisi sarà ancora valida anche a distanza di tre mesi.

• Assegni ai dataset nomi che ne descrivano il contenuto. Q1_2025_Sales_Data o Customer_Support_Logs è più chiaro di export_final_v3.
• Scelga il formato in base all’utilizzo. CSV o Excel vanno bene per i file piccoli caricati manualmente. Parquet o ORC sono più adatti ai dataset di grandi dimensioni e ai file prodotti da una pipeline.
• Controlli l’anteprima prima di mappare i dati. Verifichi la struttura, i tipi di colonna e alcune righe, quindi confermi l’ID del caso, l’attività e la marca temporale nella configurazione del dataset.
• Verifichi la mappatura delle attività. Lasci che la mappatura automatica esegua il primo passaggio, quindi controlli le attività non mappate. I passaggi che avvengono ma non lasciano traccia nei dati possono essere indicati come flusso dei dati attraverso, così restano visibili senza modificare i valori.
• Aggiorni i dati, senza ricostruire tutto. Se l’esportazione è ricorrente, sostituisca il dataset con il file aggiornato con la frequenza richiesta dall’analisi, giornaliera o settimanale, mantenendo la stessa mappatura.
• Annoti ciò che i dati non coprono. Indichi nelle note dell’analisi i periodi, i sistemi e i passaggi mancanti, perché determinano quali conclusioni sarà possibile trarre.
• Gestisca gli accessi e poi archivi. Conceda l’accesso al dataset alle persone che ne hanno bisogno e archivi i dati che non servono più al termine del progetto.

In sintesi

L’ETL è uno strumento, non l’obiettivo di un progetto di Process Mining. Lo configuri in modo da non rallentare la prima analisi:

• Parta dai dati che può ottenere questa settimana.
• Mantenga intatti i tre campi obbligatori, indipendentemente dagli altri che decide di escludere.
• Carichi prima il file esportato e automatizzi il caricamento solo quando l’analisi lo giustifica.
• Utilizzi gli strumenti e i formati che il Suo team già mantiene.

I progetti falliscono più spesso perché la pipeline è stata realizzata prima di sapere a quale domanda dovesse rispondere, non perché fosse troppo semplice.