ETL per Process Mining

ETL per il Process Mining

Il process mining dipende dai data, che provengono da vari sistemi, rendendo l’ETL un componente cruciale. ETL, acronimo di Extract, Transform, Load, è un processo di data warehousing che estrae i data dai sistemi sorgente, li trasforma come necessario e li carica in un data warehouse o in uno strumento di process mining. Questo processo è essenziale per raccogliere, pulire, organizzare e preparare i data per l’analisi.

Ecco una guida per eseguire efficacemente l’ETL per il process mining.

Approccio Globale

La regola più importante: non affrettarti nell’estrazione dei data. L’estrazione dei data costa tempo e risorse.

Inizia definendo gli obiettivi del progetto e identificando i processi che vuoi analizzare. Scegli un processo e crea rapidamente un outline con un modello BPMN. Aggiungi i data al modello per allinearti ai tuoi obiettivi di progetto. Inizia con i data facilmente disponibili, come i file Excel, i data esportabili o i data già usati per altre analisi. Successivamente, identifica eventuali lacune nei data ed estrai solo i data necessari per raggiungere i tuoi obiettivi. Resisti alla tentazione di raccogliere tutti i data ‘per ogni evenienza’—i data in eccesso ti rallenteranno. La velocità del tuo ciclo di miglioramento continuo spesso dipende più dalla raccolta dei data che dall’implementazione.

Inizia con semplici caricamenti di file. Automatizza il caricamento dei data solo quando ha senso, ad esempio quando i data vengono aggiornati frequentemente e l’analisi continua è richiesta. In molti casi, l’analisi statica è preferibile per la stabilità. Qualunque approccio tu scelga, non lasciare che ti rallenti. È meglio caricare i data trimestralmente in pochi minuti che passare settimane ad automatizzare, solo per scoprire che i data sono errati o insufficienti per il tuo business case.

Quali Dati Sono Necessari?

Il process mining richiede dati specifici: un case ID, un timestamp e un’attività. Dati aggiuntivi, come costo, utente, team o impronta di CO2, possono migliorare la tua analisi. Puoi anche includere dimensioni extra per grafici o ulteriori misure per metriche.

Ottenere alcuni dati per il process mining è solitamente semplice, poiché i campi richiesti sono comuni. Tuttavia, creare un singolo dataset con tutti i dati necessari può essere complesso, spesso richiedendo trasformazioni significative per combinare e unificare pezzi separati in un unico file.

Non preoccuparti di avere tutto subito—inizia con ciò che hai.

Quale Formato Dati è Necessario?

Sebbene esistano formati dati avanzati, la maggior parte degli strumenti fa ancora affidamento su file di testo semplici. Usa file separati da virgole (CSV) o separati da tabulazioni (TSV/TXT). Evita file di testo a larghezza fissa, poiché la maggior parte degli strumenti non può elaborarli.

I file dovrebbero iniziare con una riga di intestazione, seguita da righe di dati che corrispondono ai campi e all’ordine dell’intestazione.

Se hai bisogno di caratteri non inglesi, usa la codifica UTF-8. Assicurati che i campi non contengano separatori o caratteri di fine riga. Puoi usare virgolette intorno ai campi, ma evita le virgolette all’interno dei campi. Se necessario, sostituisci le virgolette con un altro carattere per semplificare l’elaborazione.

Data Facilmente Accessibili

Inizia elencando i data facilmente accessibili. Considera queste fonti:

• Report Excel mensili o settimanali con raw data. Usa Excel per riformattare se necessario.
• Process mining data da altri strumenti, spesso non richiedono ulteriore preprocessing.
• Opzioni di esportazione standard da sistemi come HR, finanziari o ITSM. Esporta in un formato che supporta il tuo strumento di process mining.
• Esportazioni da strumenti analitici che riportano sui data richiesti. Usa tabelle pivot ed esportazioni per creare il formato giusto.
• Data warehouse con data puliti e combinati. Usa strumenti di warehouse per selezionare ed esportare data come CSV.

Process Systems

I data sono spesso archiviati in sistemi come SAP, Workday, Salesforce o ServiceNow. Per prima cosa, verifica se un semplice export soddisfa le tue esigenze, poiché questo è il modo più veloce per creare valore. In caso contrario, utilizza strumenti ETL per estrarre, trasformare e caricare i data nel tuo strumento di process mining.

A seconda della tua organizzazione, potresti dover coinvolgere l’IT, i responsabili dei sistemi o i team di data warehousing. Anche se ciò può rallentare la raccolta dei data, non bypassare questi team—they possiedono procedure ed esperienza che possono accelerare il processo. Lavora in un ciclo agile con loro, iniziando con data facilmente disponibili ed evitando di richiedere tutto in una volta, il che può causare ritardi.

Inizialmente, richiedi i data in formato testo. Successivamente, automatizza usando l’API del tuo strumento di process mining o gli strumenti ETL integrati.

Strumenti ETL Integrati negli Strumenti di Process Mining

In generale, consigliamo di evitare l’uso di strumenti ETL integrati dai fornitori di process mining. Anche se possono sembrare convenienti, hanno limitazioni significative:

• Qualità inferiore rispetto agli strumenti ETL dedicati.
• Uso di tecnologie proprietarie invece degli standard del settore come SQL, aumentando le necessità di formazione e riducendo la disponibilità di competenze.
• Blocco del fornitore, rendendo più difficile cambiare strumenti.
• Creazione di silos di data, limitando il riutilizzo dei data in altri progetti di analisi o AI.

Strumenti ETL di terze parti

Molti ETL di terze parti soddisfano le esigenze del Process Mining. Anche se il Process Mining richiede dati specifici, le operazioni restano standard.

Preferisci tool basati su SQL per riutilizzare facilmente la logica ETL e avere più mantenibilità nel tempo. Usa strumenti interni per evitare ritardi o blocchi nei progetti causati dall’adozione di nuovi tool.

Esempi comuni di ETL di terze parti per Process Mining:

• CData: Ottimo per extraction, spesso usato insieme ad altri tool.
• dbt: Tool di transformation basato su SQL, pensato per grandi volumi di dati.
• BigQuery: Data warehouse gestito da Google, ideale per query SQL rapide su grandi dataset.
• Snowflake: Piattaforma cloud scalabile per storage e computing, perfetta per transformation e analisi.
• DataBricks: Piattaforma analytics unificata per data engineering, machine learning e analytics.
• Talend: ETL grafico che supporta varie fonti dati.
• Apache Nifi: ETL open source per automation dei data flow e processing in tempo reale.

Strumenti ETL specializzati per Process Mining

Gli strumenti ETL specializzati per Process Mining uniscono i vantaggi degli ETL di terze parti con funzioni e template dedicati al Process Mining.

Esempi:

• Evidant: Data Transform Refinery. Si concentra su extraction e transformation di dati di Process Mining su grandi volumi.
• Konekti: Ideale per creare data model di processo in modo rapido e preciso.

Consigli Utili

L’ETL non è l’obiettivo dei progetti di process mining ma spesso un passaggio necessario. Imposta il tuo processo ETL per evitare ritardi:

• Usa data facilmente disponibili.
• Inizia con caricamenti manuali; automatizza quando appropriato.
• Usa strumenti esistenti, preferendo SQL.

Soprattutto, inizia in piccolo con i data di cui hai bisogno ed espandi gradualmente. Evita di raccogliere tutti i data in anticipo, poiché ciò può far deragliare il tuo progetto.