Strumenti ETL per il Process Mining

ETL per il Process Mining

Il Process Mining dipende dai dati provenienti da più sistemi, rendendo l’ETL un passaggio fondamentale. ETL è l’acronimo di Extract, Transform, Load. Estrae i dati dai sistemi di origine, li trasforma per l’analisi e li carica in un data warehouse o in una piattaforma di Process Mining. Questo Workflow consente di raccogliere, pulire, organizzare e preparare i dati per ottenere insight affidabili sui processi.

Ecco come utilizzare l’ETL in modo efficace per il Process Mining.

Approccio globale

La regola più importante è semplice: non si affretti a estrarre i dati. È un’attività che richiede tempo e denaro.

Inizi definendo gli obiettivi del progetto e identificando i processi che desidera analizzare. Scelga un processo e ne tracci rapidamente il perimetro con un modello BPMN. Aggiunga i dati al modello in base agli obiettivi del progetto. Cominci dai dati già disponibili, come file Excel, dati facili da esportare o dati già utilizzati per altre analisi. Individui quindi le lacune informative ed estragga solo ciò che serve per raggiungere gli obiettivi. Resista alla tentazione di raccogliere tutto “nel caso serva”. Un eccesso di dati rallenta il lavoro. La velocità del ciclo di miglioramento continuo dipende spesso più dalla raccolta dei dati che dall’implementazione.

Inizi con semplici caricamenti di file. Automatizzi il caricamento dei dati solo quando è realmente utile, ad esempio quando i dati cambiano frequentemente e occorre un’analisi continua. In molti casi, l’analisi statica offre maggiore stabilità. Qualunque approccio scelga, non permetta che rallenti il lavoro. Caricare i dati ogni trimestre in pochi minuti è preferibile a dedicare settimane all’automazione del processo, per poi scoprire che i dati sono errati o insufficienti per il Suo caso d’uso.

Di quali dati ha bisogno?

Il Process Mining richiede tre elementi: un case ID, un timestamp e un’attività. Dati aggiuntivi, come costi, utenti, team o impronta di CO2, possono arricchire il contesto dell’analisi. Può inoltre includere dimensioni aggiuntive per i grafici e misure supplementari per le metriche.

Ottenere i dati per il Process Mining è generalmente semplice, perché i campi richiesti sono comuni. Più complesso può essere creare un unico dataset con tutti i dati necessari. Potrebbero essere necessarie trasformazioni significative per combinare e standardizzare fonti di dati separate in un unico file.

Non è necessario avere tutto subito. Inizi da ciò che ha già a disposizione.

Quale formato devono avere i dati?

Sebbene siano disponibili formati di dati avanzati, la maggior parte degli strumenti utilizza ancora semplici file di testo. Utilizzi file separati da virgole (CSV) o da tabulazioni (TSV/TXT). Eviti i file di testo a larghezza fissa, perché la maggior parte degli strumenti non è in grado di elaborarli.

Ogni file dovrebbe iniziare con una riga di intestazione, seguita da righe di dati che rispettino i campi dell’intestazione e il relativo ordine.

Se ha bisogno di caratteri non inglesi, utilizzi la codifica UTF-8. Verifichi che i campi non contengano separatori o caratteri di fine riga. Può racchiudere i campi tra virgolette, ma eviti di inserire virgolette all’interno dei campi. Se necessario, sostituisca le virgolette interne con un altro carattere per semplificare l’elaborazione.

Dati già disponibili

Inizi elencando i dati a cui può accedere facilmente. Consideri queste fonti:

• Report Excel mensili o settimanali con dati grezzi. Utilizzi Excel per riformattare i dati, se necessario.
• Dati di Process Mining provenienti da altri strumenti, che spesso non richiedono alcuna pre-elaborazione aggiuntiva.
• Esportazioni standard da sistemi HR, finanziari o ITSM. Esporti i dati in un formato supportato dal Suo strumento di Process Mining.
• Esportazioni da strumenti di analisi che forniscono report sui dati necessari. Utilizzi tabelle pivot ed esportazioni per creare il formato corretto.
• Data warehouse con dati puliti e combinati. Utilizzi gli strumenti del warehouse per selezionare ed esportare i dati in formato CSV.

Sistemi di processo

I dati sono spesso archiviati in sistemi come SAP, Workday, Salesforce o ServiceNow. Verifichi innanzitutto se una semplice esportazione è sufficiente per le Sue esigenze. Di solito è il modo più rapido per creare valore. In caso contrario, utilizzi strumenti ETL per estrarre, trasformare e caricare i dati nella piattaforma di Process Mining.

A seconda della Sua organizzazione, potrebbe essere necessario coinvolgere il reparto IT, i responsabili dei sistemi o i team che gestiscono il data warehouse. Questo può rallentare la raccolta dei dati, ma non escluda questi team: dispongono di procedure ed esperienza che possono accelerare il processo. Collabori con loro secondo un ciclo agile. Inizi dai dati già disponibili ed eviti di richiedere tutto in una volta, perché ciò potrebbe causare ritardi.

Inizialmente, richieda i dati in formato testo. In seguito, automatizzi il processo tramite l’API del Suo strumento di Process Mining o gli strumenti ETL integrati.

Strumenti ETL integrati negli strumenti di Process Mining

In genere sconsigliamo l’uso degli strumenti ETL integrati dei fornitori di Process Mining. Possono sembrare pratici, ma presentano limiti significativi:

• Qualità inferiore rispetto agli strumenti ETL dedicati.
• Tecnologia proprietaria anziché standard di settore come SQL, con conseguente aumento delle esigenze formative e minore disponibilità di competenze.
• Vincolo al fornitore, che rende più difficile cambiare strumento.
• Silos di dati che ne limitano il riutilizzo in altri progetti di analisi o di intelligenza artificiale.

Strumenti ETL di terze parti

Molti strumenti ETL di terze parti supportano il Process Mining. Sebbene il Process Mining richieda dati specifici, le operazioni sottostanti sono standard.

Preferisca strumenti basati su SQL, così da poter riutilizzare la logica ETL e mantenerla nel lungo periodo. Utilizzi gli strumenti già disponibili internamente, per evitare ritardi o blocchi del progetto dovuti all’adozione di nuove tecnologie.

Tra gli strumenti ETL di terze parti più utilizzati per il Process Mining rientrano:

• CData: eccellente per l’estrazione dei dati e spesso utilizzato insieme ad altri strumenti.
• dbt: strumento di trasformazione basato su SQL, con funzionalità per gestire trasformazioni di grandi dimensioni.
• BigQuery: data warehouse gestito di Google, progettato per eseguire rapidamente query SQL su grandi volumi di dati.
• Snowflake: piattaforma cloud per archiviazione ed elaborazione scalabili, utilizzata per trasformazione e analisi.
• DataBricks: piattaforma unificata di analisi che combina ingegneria dei dati, machine learning e analisi.
• Talend: strumento ETL grafico che supporta diverse origini dati.
• Apache Nifi: strumento ETL open source per automatizzare i flussi di dati ed elaborarli in tempo reale.

Strumenti ETL specializzati per il Process Mining

Gli strumenti ETL specializzati per il Process Mining combinano i vantaggi degli strumenti ETL di terze parti con funzionalità e Template per il Process Mining.

Tra gli esempi rientrano:

• Evidant: Data Transform Refinery. Si concentra sull’estrazione e sulla trasformazione dei dati di Process Mining su larga scala.
• Konekti: progettato per creare rapidamente modelli accurati dei dati di processo.

Gestire i dati dopo il caricamento

L’estrazione rappresenta solo metà della gestione dei dati. Il modo in cui organizza i dataset successivamente determina se l’analisi rimarrà affidabile.

• Assegni ai dataset un nome basato sul loro contenuto. Q1_2025_Sales_Data o Customer_Support_Logs sono preferibili a export_final_v3. Utilizzi i colori per raggruppare i dataset correlati e assegni a ciascun dataset un nome specifico per il processo quando svolge un ruolo preciso.
• Scelga il formato più adatto. CSV o Excel sono sufficienti per file piccoli e medi caricati manualmente; Parquet o ORC sono più indicati per dataset di grandi dimensioni e pipeline automatizzate.
• Visualizzi un’anteprima prima dell’analisi. Verifichi la struttura, i tipi di colonna e alcune righe prima della mappatura, quindi confermi la presenza delle colonne necessarie al process mining: ID del caso, attività e Timestamp (campi del process mining).
• Esegua la mappatura con criterio. Lasci che la mappatura automatica esegua il primo passaggio, quindi lavori sulle attività non mappate, che spesso nascondono proprio le fasi di processo più interessanti. Le fasi presenti nella realtà ma prive di una traccia nei dati possono essere contrassegnate come flusso dei dati attraverso, così rimangono visibili senza alterare i numeri.
• Faccia crescere i dati invece di sostituirli. Per le esportazioni ricorrenti, utilizzi il caricamento incrementale per aggiungere nuove righe invece di ricaricare l’intero file.
• Combini o separi i dataset in modo intenzionale. I dataset che condividono attributi possono essere uniti in una vista per la simulazione e l’analisi; quelli sostanzialmente diversi è preferibile mantenerli separati, con attributi propri per il filtraggio.
• Mantenga sotto controllo filtri e metriche. Un filtro utile a marzo può confondere la Dashboard a giugno. Rimuova i filtri una volta chiusa la domanda a cui rispondevano e mostri solo le metriche che vengono effettivamente consultate.
• Controlli gli accessi, quindi archivi. Conceda l’accesso ai dataset alle persone che ne hanno bisogno e archivi quelli obsoleti, invece di lasciarli nell’area di lavoro attiva.

In sintesi

L’ETL non è l’obiettivo di un progetto di Process Mining, ma spesso è necessario. Configuri il processo ETL per evitare ritardi:

• Utilizzi i dati già disponibili.
• Inizi con caricamenti manuali e automatizzi quando opportuno.
• Utilizzi gli strumenti esistenti, privilegiando SQL.

Soprattutto, inizi in piccolo con i dati necessari ed espanda gradualmente. Raccogliere tutto fin dall’inizio può compromettere il progetto.