In questa pagina
> risorse > documentazione > dati del process mining > Pulizia e preparazione dei dati per il Process Mining

Pulizia e preparazione dei dati per il Process Mining

Process Intelligence Process Intelligence Disponibile con una postazione Process Intelligence o superiore. Solo le postazioni di questo piano o di un piano superiore possono utilizzare questa funzionalità. Confronta i piani Disponibile con una postazione Process Intelligence o superiore

Il Process Mining efficace inizia da dati di buona qualità e, nella maggior parte dei casi, richiede di risolvere gli stessi pochi problemi: eventi mai registrati, identificativi che non corrispondono tra i sistemi, formati discordanti ed estrazioni troppo grandi o troppo sensibili per essere gestite senza le dovute precauzioni. Questa pagina illustra questi problemi e i passaggi per risolverli. Per svolgere le stesse attività in ProcessMind, consulti Configurazione del dataset e Qualità dei dati.

Perché la pulizia e la preparazione dei dati sono importanti?

Il Process Mining si basa sugli Event Log, ovvero dataset che contengono la sequenza dettagliata delle attività all’interno di un processo aziendale. Se questi dataset sono incompleti, incoerenti o contengono errori, gli insight ottenuti non saranno affidabili. Dati puliti e strutturati correttamente consentono allo strumento di mappare i flussi di lavoro, individuare i colli di bottiglia e mettere in evidenza le aree da migliorare.

Passaggi principali per la pulizia e la preparazione dei dati

1. Raccolga i dati da tutti i sistemi coinvolti

I dati provengono generalmente da più sistemi: un ERP per ordini e fatture, un CRM per le attività relative ai clienti, un service desk per i ticket. Li raccolga tutti prima di iniziare la pulizia, perché un passaggio presente in un sistema escluso non potrà essere recuperato in seguito.

  • Consolidi le fonti di dati: elenchi i sistemi che registrano una parte del processo ed estragga i dati da ciascuno. Ad esempio, un processo order-to-cash coinvolge un sistema commerciale, come Salesforce, e un sistema finanziario, come SAP.
  • Superi i silos: concordi con i responsabili del processo quali sistemi includere e chi può esportare i dati. I dati mancanti derivano spesso da un sistema non considerato, non da una query errata. Gli strumenti di integrazione, come Apache NiFi, Talend, Informatica o Power BI, possono unire più fonti in un unico file.
  • Pianifichi ciò che non può estrarre: se un passaggio avviene fuori dai sistemi, ad esempio tramite un’approvazione telefonica o una firma cartacea, ne registri almeno l’esito in un sistema digitale oppure modelli il passaggio, così che la vista del processo rimanga completa. Dove ottenere i dati illustra come reperire i dati sistema per sistema.

2. Rimuova i duplicati

I record duplicati alterano l’analisi, gonfiando il conteggio delle attività e facendo apparire un singolo evento come se fossero diversi. Li individui verificando la corrispondenza tra ID del caso, attività e timestamp, quindi li rimuova oppure li unisca in un’unica riga.

3. Gestisca i dati mancanti

Timestamp, attività o ID dei casi mancanti interrompono la sequenza degli eventi e producono modelli di processo incompleti.

  • Individui i valori mancanti: cerchi timestamp vuoti, nomi di attività mancanti e ID dei casi nulli.
  • Colmi le lacune: quando possibile, utilizzi altre fonti o le conoscenze del dominio. Se manca un timestamp, gli orari degli eventi circostanti possono aiutare a restringere l’intervallo.
  • Modelli invece di inventare: per i passaggi mai registrati, li aggiunga tramite modellazione dei processi invece di inventare timestamp, così che il processo individuato e quello documentato possano convergere.
  • Imputi o elimini: per le lacune critiche, utilizzi una tecnica di imputazione, ad esempio la sostituzione con la media o un modello di regressione; se un caso non può essere recuperato, lo rimuova annotandone il motivo.

4. Normalizzi formati, ID e nomi

  • Timestamp: utilizzi un unico formato ovunque, ad esempio YYYY-MM-DD HH:MM:SS. Se l’estrazione combina più fusi orari, converta tutto in UTC. Consulti l’elenco dei formati di data supportati
  • ID dei casi: lo stesso processo può utilizzare identificativi diversi nei vari sistemi, ad esempio un numero d’ordine nel CRM e un numero di fattura nel sistema finanziario. Crei una corrispondenza tra questi identificativi, nell’estrazione o in una tabella di ricerca, affinché ogni evento venga associato a un unico caso, e assegni a ogni istanza del processo un ID univoco. In ProcessMind, verifichi che la colonna dell’ID del caso sia mappata nello stesso modo per ogni dataset combinato; consulti attributi del dataset.
  • Nomi delle attività: i sistemi possono denominare lo stesso passaggio in modi diversi. Scelga una formulazione unica per ogni passaggio, poiché “Approva ordine” e “Approvazione dell’ordine” indicano la stessa attività.
  • Valori e tipi: mantenga i numeri come numeri, ad esempio costi, durate e importi, e utilizzi un’unica unità per colonna.

5. Rimuova gli eventi irrilevanti

Non tutti gli eventi registrati appartengono al processo analizzato; accessi al sistema, nuovi tentativi tecnici e attività amministrative appesantiscono la mappa senza aggiungere insight.

  • Escluda ciò che non appartiene al processo: utilizzi le conoscenze del dominio per stabilire quali eventi descrivono il processo ed escluda gli altri.
  • Scelga il livello di granularità corretto: eventi troppo generici, come “ordine gestito”, nascondono le variazioni che sta cercando, mentre eventi troppo dettagliati riempiono la mappa di particolari tecnici. Raggruppi gli eventi di basso livello nell’attività aziendale a cui appartengono, lasciando agli esperti del processo la decisione su dove tracciare il confine.

6. Gestisca gli outlier e il rumore

Gli outlier restituiscono un’immagine inesatta del normale funzionamento del processo: un task durato eccezionalmente a lungo a causa di un evento raro può influenzare in modo sproporzionato le medie.

  • Li individui: segnali le durate molto al di fuori dell’intervallo normale per quel passaggio.
  • Decida se conservarli: un’eccezione reale, cioè un errore raro ma critico, contiene spesso insight che vale la pena conservare; un errore nei dati no. Rimuova solo ciò che è errato, non ciò che è semplicemente scomodo.

7. Verifichi l’ordine degli eventi

Se gli eventi non sono ordinati correttamente, lo strumento ricostruisce il flusso sbagliato.

  • Convalidi la sequenza: gli eventi di ogni caso devono seguire l’ordine dei timestamp. Se nello stesso caso l’evento “Ordine approvato” precede “Ordine creato”, è necessario verificare i timestamp.
  • Ordini per timestamp: prima del caricamento, ordini gli eventi di ogni caso in base alla colonna dei timestamp.

8. Gestisca i dataset di grandi dimensioni

Le estrazioni di grandi dimensioni richiedono più tempo sia per la preparazione sia per il caricamento; è quindi preferibile pianificare la gestione dei volumi anziché subirne gli effetti.

  • Utilizzi un campione per esplorare e il dataset completo per analizzare: un campione rappresentativo è sufficiente per verificare che gli eventi estratti siano coerenti; carichi l’estrazione completa quando l’analisi lo richiede.
  • Carichi i dati in modo incrementale: invece di sostituire tutto, aggiunga i nuovi periodi con caricamenti incrementali (delta).
  • Preferisca i formati colonnari: per grandi volumi, i file Parquet e ORC sono più piccoli e si caricano più rapidamente rispetto ai file CSV o Excel; consulti Formati di dati supportati.

9. Protegga i dati sensibili

Gli Event Log contengono nomi, indirizzi, numeri cliente e ID utente; tratti quindi l’estrazione come dati personali.

  • Anonimizzi o mascheri: rimuova o mascheri ciò che non serve all’analisi e conservi gli ID utente solo quando l’analisi delle risorse lo richiede.
  • Limiti l’accesso: condivida l’estrazione con il minor numero possibile di persone, in base alla necessità di conoscerla, e utilizzi il controllo degli accessi basato sui ruoli per i dataset caricati.
  • Segua le norme applicabili: limiti di conservazione, cifratura in transito e a riposo e regolamenti come il GDPR per i dati dei clienti.

10. Crei l’Event Log

Quando i dati sono puliti, coerenti e ordinati, crei l’Event Log, il dataset principale per il Process Mining. Ogni log deve contenere:

  • ID del caso: un identificativo univoco per ogni istanza del processo.
  • Attività: il nome del passaggio che si è verificato.
  • Timestamp: il momento in cui si è verificato, che determina l’ordine degli eventi.

Le colonne facoltative aggiungono contesto: la risorsa, cioè la persona o il team, il reparto, il costo o qualsiasi attributo personalizzato in base al quale desidera segmentare il processo. L’elenco completo dei requisiti è disponibile in Formati di dati supportati.

11. Convalidi il dataset

Prima di basarsi sui risultati, verifichi che il dataset rappresenti effettivamente il processo che ritiene di aver acquisito.

  • Controlli alcuni casi a campione: segua alcune istanze del processo dall’inizio alla fine e verifichi che le sequenze degli eventi siano coerenti.
  • Esegua un’analisi di prova: individui il processo una volta e cerchi evidenti anomalie, come attività che non si verificano mai, eventi di avvio o di fine errati e casi che avrebbero dovuto essere chiusi.
  • Confermi con i responsabili del processo: gli esperti aziendali possono dirLe in pochi minuti se i dati riflettono il modo in cui il lavoro viene realmente svolto.

Pulire i dati in ProcessMind

Dopo il caricamento, gran parte della preparazione descritta sopra può essere gestita direttamente in ProcessMind:

  • Mappi e configuri le colonne: imposti i nomi visualizzati, i tipi di dati e i formati dei timestamp negli attributi del dataset, senza dover modificare il file di origine.
  • Verifichi la qualità: la Dashboard Qualità dei dati segnala valori mancanti e incoerenze, così può correggerli prima dell’analisi, mentre le raccomandazioni AI sui dati suggeriscono mappature e correzioni.
  • Nasconda o filtri i dati irrilevanti: nasconda le colonne negli attributi del dataset e utilizzi i filtri per escludere gli eventi non necessari.
  • Ricarichi invece di caricare nuovamente: sostituisca i dati direttamente oppure utilizzi caricamenti incrementali (delta) per i dataset in continua crescita.

Per pulire i dati al di fuori di ProcessMind, può utilizzare prima del caricamento strumenti generici come Python/Pandas, Excel o Google Sheets, strumenti ETL e OpenRefine. Per la guida completa, che comprende denominazione, formati, caricamento incrementale e archiviazione, consulti ETL per il Process Mining.

Argomenti correlati