Pulizia e preparazione dei dati per il Process Mining

Un Process Mining efficace parte da dati di buona qualità. Gran parte del lavoro riguarda sempre gli stessi problemi: eventi mai registrati, identificativi non coerenti tra sistemi, formati diversi e dati estratti troppo voluminosi o sensibili per essere gestiti senza precauzioni. In questa pagina esaminiamo questi problemi e i passaggi per risolverli. Per svolgere le stesse operazioni in ProcessMind, consulti Configurare il dataset e Qualità dei dati.

Perché è importante pulire e preparare i dati?

Il Process Mining si basa sugli Event Log, dataset che contengono la sequenza dettagliata delle attività di un processo aziendale. Se i dati sono incompleti, incoerenti o contengono errori, anche le informazioni ricavate dall’analisi saranno inaffidabili. Dati puliti e strutturati correttamente consentono allo strumento di mappare i flussi di lavoro, individuare i colli di bottiglia e mettere in evidenza le aree da migliorare.

Passaggi fondamentali per pulire e preparare i dati

1. Raccolga i dati da tutti i sistemi coinvolti

Di solito i dati provengono da più sistemi: un ERP per ordini e fatture, un CRM per le fasi relative ai clienti e un Service Desk per i ticket. Li raccolga tutti prima di iniziare la pulizia: una fase registrata in un sistema escluso non potrà essere recuperata in seguito.

• Consolidi le origini dei dati: elenchi i sistemi che registrano una parte del processo ed estragga i dati da ciascuno. Ad esempio, un processo dall’ordine all’incasso coinvolge un sistema di vendita (come Salesforce) e un sistema finanziario (come SAP).
• Superi i silos: concordi con i responsabili del processo quali sistemi includere e chi può esportarne i dati. Spesso i dati mancanti provengono da un sistema non segnalato, non da una query errata. Gli strumenti di integrazione, come Apache NiFi, Talend, Informatica o Power BI, possono unire più origini in un unico file.
• Pianifichi come gestire i dati non estraibili: se una fase avviene fuori dai sistemi, ad esempio un’approvazione telefonica o una firma su carta, ne registri almeno l’esito in un sistema digitale oppure modelli la fase, così che la vista del processo resti completa. Dove reperire i dati spiega come individuare le origini sistema per sistema.

2. Rimuova i duplicati

I record duplicati alterano l’analisi, aumentando il numero di attività e facendo apparire un singolo evento come se fosse avvenuto più volte. Li individui confrontando ID del caso, attività e Timestamp, quindi li elimini o li accorpi in un’unica riga.

3. Gestisca i dati mancanti

Timestamp, attività o ID del caso mancanti interrompono la sequenza degli eventi e producono modelli di processo incompleti.

• Individui i valori mancanti: cerchi Timestamp vuoti, nomi di attività assenti e ID del caso nulli.
• Colmi le lacune: quando possibile, ricorra ad altre origini o alle conoscenze del dominio. Se manca un Timestamp, quelli degli eventi circostanti possono aiutare a stimarlo.
• Modelli invece di inventare: per le fasi mai registrate, le aggiunga tramite la modellazione dei processi anziché inventare Timestamp, così che il processo ricavato dai dati e quello documentato possano essere confrontati.
• Stimi o elimini: per le lacune critiche, utilizzi una tecnica di imputazione, ad esempio la sostituzione con la media o un modello di regressione; se non è possibile recuperare un caso, lo rimuova e annoti il motivo.

4. Uniformi formati, ID e nomi

• Date e orari: utilizzi un unico formato ovunque, ad esempio YYYY-MM-DD HH:MM:SS. Se l’estrazione include fusi orari diversi, converta tutti i valori in UTC. Consulti l’elenco dei formati di data supportati
• ID dei casi: lo stesso processo può avere identificativi diversi nei vari sistemi, ad esempio un numero d’ordine nel CRM e un numero di fattura in contabilità. Crei una corrispondenza tra gli identificativi, nell’estrazione o in una tabella di riferimento, in modo che ogni evento sia associato a un unico caso; assegni inoltre un ID univoco a ogni istanza del processo. In ProcessMind, verifichi che la colonna dell’ID caso sia mappata nello stesso modo in tutti gli insiemi di dati combinati; consulti gli attributi dell’insieme di dati.
• Nomi delle attività: i sistemi possono assegnare nomi diversi alla stessa fase. Scelga una denominazione unica per ogni fase (“Approva ordine” e “Approvazione ordine” indicano la stessa attività).
• Valori e tipi: mantenga i numeri come numeri (costi, durate, importi) e utilizzi una sola unità di misura per colonna.

5. Rimuova gli eventi non pertinenti

Non tutti gli eventi registrati appartengono al processo che sta analizzando: accessi al sistema, tentativi tecnici ripetuti e attività amministrative appesantiscono la mappa senza aggiungere informazioni utili.

• Escluda gli eventi non pertinenti: si basi sulle conoscenze del dominio per stabilire quali eventi descrivono il processo ed escluda gli altri.
• Scelga il giusto livello di dettaglio: eventi troppo generici, come «ordine gestito», nascondono le varianti che cerca; eventi troppo dettagliati, invece, riempiono la mappa di informazioni tecniche. Raggruppi gli eventi di basso livello nell’attività aziendale corrispondente, lasciando agli esperti del processo la decisione su dove tracciare il confine.

6. Gestisca valori anomali e rumore

I valori anomali possono dare un’immagine distorta del normale svolgimento del processo: un’attività durata eccezionalmente a lungo per un evento raro può incidere in modo sproporzionato sulle medie.

• Individui i valori anomali: segnali le durate molto al di fuori dell’intervallo normale per quella fase.
• Decida se mantenerli: un’eccezione reale, come un guasto raro ma critico, può offrire informazioni preziose; un errore nei dati, invece, no. Rimuova solo ciò che è errato, non ciò che è scomodo.

7. Verifichi l’ordine degli eventi

Se gli eventi non sono nell’ordine corretto, lo strumento ricostruisce un flusso errato.

• Convalidi la sequenza: gli eventi di ogni caso devono rispettare l’ordine dei Timestamp. Se nello stesso caso «Ordine approvato» precede «Ordine creato», è necessario controllare i Timestamp.
• Ordini per Timestamp: prima del caricamento, ordini gli eventi di ciascun caso in base alla colonna dei Timestamp.

8. Gestisca dataset di grandi dimensioni

Le estrazioni voluminose richiedono più tempo per la preparazione e il caricamento: è quindi meglio pianificare in base alle dimensioni, anziché cercare di aggirare il problema.

• Utilizzi un campione per esplorare e carichi tutti i dati per l’analisi: un campione rappresentativo basta per verificare che gli eventi estratti siano coerenti; carichi l’intera estrazione quando l’analisi lo richiede.
• Carichi i dati in modo incrementale: invece di sostituire tutto, aggiunga i nuovi periodi con i caricamenti incrementali (delta).
• Preferisca i formati colonnari: per grandi volumi, i file Parquet e ORC sono più piccoli e si caricano più rapidamente di CSV o Excel; consulti i formati di dati supportati.

9. Protegga i dati sensibili

Gli Event Log possono contenere nomi, indirizzi, numeri cliente e ID utente: tratti quindi l’estrazione come un insieme di dati personali.

• Anonimizzi o mascheri i dati: rimuova o mascheri le informazioni non necessarie all’analisi e mantenga gli ID utente solo quando servono per l’analisi delle risorse.
• Limiti gli accessi: condivida l’estrazione con il minor numero possibile di persone, solo se necessario, e utilizzi il controllo degli accessi basato sui ruoli per i dataset caricati.
• Rispetti le norme applicabili: limiti di conservazione, cifratura dei dati in transito e a riposo e regolamenti come il GDPR per i dati dei clienti.

10. Crei l’Event Log

Una volta puliti, uniformati e ordinati i dati, crei l’Event Log, il dataset principale per il Process Mining. Ogni log deve includere:

• ID del caso: identificativo univoco per ogni istanza del processo.
• Attività: nome della fase che si è verificata.
• Data e ora: momento in cui si è verificata, che determina l’ordine degli eventi.

Le colonne facoltative aggiungono dettagli, ad esempio la risorsa (persona o team), il reparto, il costo o qualsiasi attributo personalizzato in base al quale desidera suddividere i dati del processo. L’elenco completo dei requisiti è disponibile nella pagina Formati di dati supportati.

11. Convalidi il dataset

Prima di basarsi sui risultati, verifichi che il dataset rappresenti il processo che intende analizzare.

• Controlli alcuni casi: segua dall’inizio alla fine alcune istanze del processo e verifichi che le sequenze di eventi siano coerenti.
• Esegua un’analisi di prova: ricavi il processo dai dati e cerchi eventuali anomalie evidenti, come attività che non si verificano mai, eventi iniziali o finali insoliti e casi che avrebbero dovuto concludersi.
• Verifichi i dati con i responsabili del processo: gli esperti aziendali possono confermare in pochi minuti se i dati rispecchiano il modo in cui il lavoro viene svolto.

Pulire i dati in ProcessMind

Dopo il caricamento, molte delle operazioni di preparazione descritte sopra possono essere svolte direttamente in ProcessMind:

• Mappi e configuri le colonne: imposti i nomi visualizzati, i tipi di dati e i formati dei Timestamp negli attributi del dataset, senza dover modificare il file di origine.
• Controlli la qualità: la Dashboard Qualità dei dati segnala valori mancanti e incoerenze, così può correggerli prima dell’analisi; le Raccomandazioni AI sui dati suggeriscono mappature e correzioni.
• Nasconda o filtri i dati non pertinenti: nasconda le colonne negli attributi del dataset e utilizzi i filtri per escludere gli eventi non necessari.
• Ricarichi i dati senza caricarli di nuovo: sostituisca i dati esistenti oppure utilizzi i caricamenti incrementali (delta) per i dataset in continua crescita.

Per pulire i dati al di fuori di ProcessMind, può utilizzare strumenti di uso generale, come Python/Pandas, Excel o Google Sheets, strumenti ETL e OpenRefine, prima del caricamento. Per una guida più ampia su denominazione, formati, caricamenti incrementali e archiviazione, consulti ETL per il Process Mining.

Argomenti correlati

• Dove reperire i dati - estrarre dai sistemi una riga per ogni fase
• Formati di dati supportati - tipi di file e requisiti di struttura
• Qualità dei dati - controlli effettuati dal badge di qualità
• Risoluzione dei problemi relativi ai dati - soluzioni per ogni sintomo
• ETL per il Process Mining - guida generale alla preparazione dei dati