ETL e Process Mining: guida ottimizzata

ETL per il Process Mining

Il process mining dipende dai data, che provengono da vari sistemi, rendendo l’ETL un componente cruciale. ETL, acronimo di Extract, Transform, Load, è un processo di data warehousing che estrae i data dai sistemi sorgente, li trasforma come necessario e li carica in un data warehouse o in uno strumento di process mining. Questo processo è essenziale per raccogliere, pulire, organizzare e preparare i data per l’analisi.

Ecco una guida per eseguire efficacemente l’ETL per il process mining.

Approccio Globale

La regola più importante: non affrettarti nell’estrazione dei data. L’estrazione dei data costa tempo e risorse.

Inizia definendo gli obiettivi del progetto e identificando i processi che vuoi analizzare. Scegli un processo e crea rapidamente un outline con un modello BPMN. Aggiungi i data al modello per allinearti ai tuoi obiettivi di progetto. Inizia con i data facilmente disponibili, come i file Excel, i data esportabili o i data già usati per altre analisi. Successivamente, identifica eventuali lacune nei data ed estrai solo i data necessari per raggiungere i tuoi obiettivi. Resisti alla tentazione di raccogliere tutti i data ‘per ogni evenienza’—i data in eccesso ti rallenteranno. La velocità del tuo ciclo di miglioramento continuo spesso dipende più dalla raccolta dei data che dall’implementazione.

Inizia con semplici caricamenti di file. Automatizza il caricamento dei data solo quando ha senso, ad esempio quando i data vengono aggiornati frequentemente e l’analisi continua è richiesta. In molti casi, l’analisi statica è preferibile per la stabilità. Qualunque approccio tu scelga, non lasciare che ti rallenti. È meglio caricare i data trimestralmente in pochi minuti che passare settimane ad automatizzare, solo per scoprire che i data sono errati o insufficienti per il tuo business case.

Quali Dati Sono Necessari?

Il process mining richiede dati specifici: un case ID, un timestamp e un’attività. Dati aggiuntivi, come costo, utente, team o impronta di CO2, possono migliorare la tua analisi. Puoi anche includere dimensioni extra per grafici o ulteriori misure per metriche.

Ottenere alcuni dati per il process mining è solitamente semplice, poiché i campi richiesti sono comuni. Tuttavia, creare un singolo dataset con tutti i dati necessari può essere complesso, spesso richiedendo trasformazioni significative per combinare e unificare pezzi separati in un unico file.

Non preoccuparti di avere tutto subito—inizia con ciò che hai.

Quale Formato Dati è Necessario?

Sebbene esistano formati dati avanzati, la maggior parte degli strumenti fa ancora affidamento su file di testo semplici. Usa file separati da virgole (CSV) o separati da tabulazioni (TSV/TXT). Evita file di testo a larghezza fissa, poiché la maggior parte degli strumenti non può elaborarli.

I file dovrebbero iniziare con una riga di intestazione, seguita da righe di dati che corrispondono ai campi e all’ordine dell’intestazione.

Se hai bisogno di caratteri non inglesi, usa la codifica UTF-8. Assicurati che i campi non contengano separatori o caratteri di fine riga. Puoi usare virgolette intorno ai campi, ma evita le virgolette all’interno dei campi. Se necessario, sostituisci le virgolette con un altro carattere per semplificare l’elaborazione.

Data Facilmente Accessibili

Inizia elencando i data facilmente accessibili. Considera queste fonti:

• Report Excel mensili o settimanali con raw data. Usa Excel per riformattare se necessario.
• Process mining data da altri strumenti, spesso non richiedono ulteriore preprocessing.
• Opzioni di esportazione standard da sistemi come HR, finanziari o ITSM. Esporta in un formato che supporta il tuo strumento di process mining.
• Esportazioni da strumenti analitici che riportano sui data richiesti. Usa tabelle pivot ed esportazioni per creare il formato giusto.
• Data warehouse con data puliti e combinati. Usa strumenti di warehouse per selezionare ed esportare data come CSV.

Process Systems

I data sono spesso archiviati in sistemi come SAP, Workday, Salesforce o ServiceNow. Per prima cosa, verifica se un semplice export soddisfa le tue esigenze, poiché questo è il modo più veloce per creare valore. In caso contrario, utilizza strumenti ETL per estrarre, trasformare e caricare i data nel tuo strumento di process mining.

A seconda della tua organizzazione, potresti dover coinvolgere l’IT, i responsabili dei sistemi o i team di data warehousing. Anche se ciò può rallentare la raccolta dei data, non bypassare questi team—they possiedono procedure ed esperienza che possono accelerare il processo. Lavora in un ciclo agile con loro, iniziando con data facilmente disponibili ed evitando di richiedere tutto in una volta, il che può causare ritardi.

Inizialmente, richiedi i data in formato testo. Successivamente, automatizza usando l’API del tuo strumento di process mining o gli strumenti ETL integrati.

Strumenti ETL Integrati negli Strumenti di Process Mining

In generale, consigliamo di evitare l’uso di strumenti ETL integrati dai fornitori di process mining. Anche se possono sembrare convenienti, hanno limitazioni significative:

• Qualità inferiore rispetto agli strumenti ETL dedicati.
• Uso di tecnologie proprietarie invece degli standard del settore come SQL, aumentando le necessità di formazione e riducendo la disponibilità di competenze.
• Blocco del fornitore, rendendo più difficile cambiare strumenti.
• Creazione di silos di data, limitando il riutilizzo dei data in altri progetti di analisi o AI.

Strumenti ETL di Terze Parti

Molti strumenti ETL di terze parti possono gestire le esigenze del process mining. Anche se il process mining richiede specifici data, le operazioni sono standard.

Preferisci strumenti basati su SQL per un più facile riutilizzo della logica ETL e una migliore manutenibilità a lungo termine. Usa strumenti interni per evitare ritardi o blocchi del progetto causati dall’adozione di nuovi strumenti.

Strumenti ETL di terze parti comuni per il process mining:

• CData: Eccellente per l’estrazione, spesso usato con altri strumenti.
• dbt: Uno strumento di trasformazione basato su SQL con funzionalità per gestire grandi trasformazioni.
• BigQuery: Un data warehouse gestito da Google, ideale per query SQL veloci su grandi dataset.
• Snowflake: Una piattaforma cloud per lo storage e il computing scalabili, usata per la trasformazione e l’analisi.
• DataBricks: Una piattaforma di analytics unificata che combina ingegneria dei data, machine learning e analytics.
• Talend: Un tool ETL grafico che supporta varie fonti di data.
• Apache Nifi: Uno strumento ETL open-source per l’automazione dei flussi di data e il processamento in tempo reale.

Strumenti ETL Specializzati per il Process Mining

Gli strumenti ETL specializzati per il process mining combinano i vantaggi degli ETL di terze parti con le funzionalità e i template del process mining.

Esempi:

• Konekti: Progettato per creare modelli di process data in modo preciso e rapido.

Consigli Utili

L’ETL non è l’obiettivo dei progetti di process mining ma spesso un passaggio necessario. Imposta il tuo processo ETL per evitare ritardi:

• Usa data facilmente disponibili.
• Inizia con caricamenti manuali; automatizza quando appropriato.
• Usa strumenti esistenti, preferendo SQL.

Soprattutto, inizia in piccolo con i data di cui hai bisogno ed espandi gradualmente. Evita di raccogliere tutti i data in anticipo, poiché ciò può far deragliare il tuo progetto.