Čištění a příprava dat pro process mining

Úspěšný process mining začíná kvalitními daty. Většina přípravy se týká několika opakujících se problémů: nezaznamenaných událostí, identifikátorů, které se mezi systémy neshodují, rozdílných formátů a exportů, které jsou příliš rozsáhlé nebo citlivé na nezabezpečené zpracování. Na této stránce se těmto problémům věnujeme a ukazujeme, jak je řešit. Pokud chcete stejnou práci provést přímo v ProcessMind, podívejte se na stránky Konfigurace datové sady a Kvalita dat.

Proč je čištění a příprava dat důležitá?

Process mining pracuje se záznamy událostí, tedy s datovými sadami, které obsahují podrobný sled aktivit v rámci firemního procesu. Pokud jsou data neúplná, nejednotná nebo obsahují chyby, získané poznatky nebudou spolehlivé. Čistá a správně strukturovaná data umožňují nástroji mapovat workflow, odhalovat úzká místa a ukazovat možnosti zlepšení.

Hlavní kroky při čištění a přípravě dat

1. Shromážděte data ze všech zapojených systémů

Data obvykle pocházejí z několika systémů: ERP obsahuje objednávky a faktury, CRM kroky týkající se zákazníků a servisní systém požadavky. Než začnete data čistit, shromážděte je ze všech těchto systémů. Krok zaznamenaný v systému, který jste vynechali, už později nedoplníte.

• Sjednoťte zdroje dat: Sepište systémy, které zaznamenávají jednotlivé části procesu, a exportujte data z každého z nich. Proces od objednávky po platbu například zahrnuje prodejní systém, jako je Salesforce, a finanční systém, jako je SAP.
• Propojte oddělené systémy: S vlastníky procesů se dohodněte, které systémy do analýzy zahrnete a kdo z nich může data exportovat. Chybějící data obvykle pocházejí z nezahrnutého systému, ne z chybného dotazu. Integrační nástroje, například Apache NiFi, Talend, Informatica nebo Power BI, mohou sloučit data z několika zdrojů do jednoho souboru.
• Naplánujte, jak zachytit data, která nelze exportovat: Pokud se krok odehrává mimo systém, například telefonické schválení nebo podpis na papíře, zaznamenejte alespoň jeho výsledek v digitálním systému nebo krok namodelujte, aby zobrazení procesu zůstalo úplné. Stránka Zdroje dat popisuje, kde data hledat v jednotlivých systémech.

2. Odstraňte duplicity

Duplicitní záznamy zkreslují analýzu. Zvyšují počty aktivit a vytvářejí dojem, že jedna událost proběhla několikrát. Vyhledejte záznamy se stejným ID případu, aktivitou a časovým údajem a pak je odstraňte nebo sloučte do jednoho řádku.

3. Vyřešte chybějící data

Chybějící časové údaje, aktivity nebo ID případů narušují posloupnost událostí a vedou k neúplným modelům procesů.

• Najděte chybějící hodnoty: Hledejte prázdné časové údaje, nevyplněné názvy aktivit a chybějící ID případů.
• Doplňte chybějící údaje: Pokud je to možné, využijte jiné zdroje nebo znalosti procesu. Chybějící časový údaj lze odhadnout podle časů okolních událostí.
• Chybějící kroky namodelujte, nevymýšlejte: Kroky, které se vůbec nezaznamenávaly, doplňte pomocí modelování procesů, místo abyste vymýšleli časové údaje. Zjištěný a zdokumentovaný proces se tak mohou vzájemně doplnit.
• Doplňte odhad nebo záznam vynechte: U zásadních chybějících údajů použijte metodu doplnění, například náhradu průměrem nebo regresní model. Pokud případ nelze obnovit, vyřaďte ho a zaznamenejte důvod.

4. Sjednoťte formáty, ID a názvy

• Časové údaje: Používejte všude stejný formát, například YYYY-MM-DD HH:MM:SS. Pokud export obsahuje více časových pásem, převeďte všechny údaje na UTC. Podívejte se na seznam podporovaných formátů data
• ID případů: Tentýž proces často používá v různých systémech různá ID. V CRM může jít o číslo objednávky, ve finančním systému o číslo faktury. Vytvořte mezi nimi mapování, buď přímo v exportu, nebo pomocí vyhledávací tabulky. Každá událost se tak přiřadí ke správnému případu a každá instance procesu dostane jedinečné ID. V ProcessMind zkontrolujte, že je sloupec s ID případu namapovaný stejně ve všech kombinovaných datových sadách. Viz atributy datové sady.
• Názvy aktivit: Systémy mohou stejný krok označovat různě. Zvolte pro každý krok jeden název. „Schválit objednávku“ a „Schválení objednávky“ označují stejnou aktivitu.
• Hodnoty a datové typy: Číselné údaje, například náklady, doby trvání a částky, ukládejte jako čísla a v každém sloupci používejte stejnou jednotku.

5. Odstraňte nesouvisející události

Ne každá zaznamenaná událost patří do analyzovaného procesu. Přihlášení do systému, technické opakování požadavků a administrativní úkoly znepřehledňují mapu, aniž by přinášely užitečné informace.

• Vyřaďte nesouvisející události: Podle znalosti procesu rozhodněte, které události ho popisují, a ostatní vylučte.
• Zvolte vhodnou míru podrobnosti: Příliš obecné události, například „zpracování objednávky“, skryjí hledané rozdíly. Příliš podrobné události naopak zahltí mapu technickými údaji. Seskupte události na nízké úrovni pod příslušné firemní aktivity. O hranici rozhodnou odborníci na proces.

6. Vyřešte odlehlé hodnoty a šum

Odlehlé hodnoty zkreslují představu o běžném průběhu procesu. Úkol, který kvůli vzácné události trval mimořádně dlouho, může výrazně ovlivnit průměrné hodnoty.

• Najděte odlehlé hodnoty: Označte doby trvání, které se výrazně liší od běžného rozsahu daného kroku.
• Rozhodněte, zda je ponechat: Skutečná výjimka, například vzácné, ale závažné selhání, může přinést důležité poznatky. Chyba v datech nikoli. Odstraňujte jen chybné údaje, ne ty, které se vám nehodí.

7. Zkontrolujte pořadí událostí

Pokud události nejsou ve správném pořadí, nástroj zobrazí chybný průběh procesu.

• Ověřte posloupnost: Události každého případu musí odpovídat časovým údajům. Pokud se událost „Schválení objednávky“ objeví před událostí „Vytvoření objednávky“ ve stejném případu, zkontrolujte časové údaje.
• Seřaďte podle času: Před nahráním seřaďte události každého případu podle sloupce s časovými údaji.

8. Práce s rozsáhlými datovými sadami

Rozsáhlé exporty se dlouho připravují i nahrávají. Počítejte proto s jejich velikostí už při plánování.

• Prozkoumejte vzorek, pro analýzu nahrajte celý soubor: reprezentativní vzorek stačí k ověření, zda extrahované události dávají smysl. Celý výpis nahrajte, až ho budete potřebovat k analýze.
• Nahrávejte postupně: místo nahrazení všech dat přidávejte nová období pomocí přírůstkového nahrávání (delta).
• Upřednostněte sloupcové formáty: soubory Parquet a ORC jsou menší a při velkých objemech se nahrávají rychleji než CSV nebo Excel. Další informace najdete v tématu Podporované formáty dat.

9. Chraňte citlivá data

Záznamy událostí obsahují jména, adresy, zákaznická čísla a ID uživatelů. S výpisem proto zacházejte jako s osobními údaji.

• Anonymizujte nebo maskujte: odstraňte nebo zamaskujte údaje, které analýza nepotřebuje. ID uživatelů ponechte jen tehdy, když potřebujete analyzovat zdroje.
• Omezte přístup: výpis zpřístupněte co nejmenšímu počtu lidí, pouze těm, kteří ho potřebují. U nahraných dat využijte řízení přístupu podle rolí.
• Dodržujte příslušná pravidla: limity uchovávání, šifrování při přenosu i uložení a předpisy, jako je nařízení GDPR pro zákaznická data.

10. Vytvořte záznam událostí

Jakmile jsou data vyčištěná, jednotná a seřazená, vytvořte záznam událostí, tedy hlavní datovou sadu pro process mining. Každý záznam musí obsahovat:

• ID případu: jedinečný identifikátor každé instance procesu.
• Aktivita: název provedeného kroku.
• Časové razítko: čas, kdy k události došlo. Podle něj se určuje pořadí událostí.

Volitelné sloupce přidají další kontext: zdroj (osoba nebo tým), oddělení, náklady nebo vlastní atribut, podle kterého chcete proces rozdělit. Úplný seznam požadavků najdete v tématu Podporované formáty dat.

11. Ověřte datovou sadu

Než se začnete spoléhat na výsledky, ověřte, že datová sada skutečně zachycuje proces, který chcete analyzovat.

• Namátkově zkontrolujte případy: projděte několik instancí procesu od začátku do konce a ověřte, že posloupnosti událostí dávají smysl.
• Spusťte zkušební analýzu: proveďte process mining a hledejte zjevné nesrovnalosti, například aktivity, ke kterým nikdy nedochází, podezřelé počáteční nebo koncové události či případy, které měly být uzavřeny.
• Ověřte data s vlastníky procesu: odborníci z praxe vám během několika minut potvrdí, zda data odpovídají tomu, jak práce skutečně probíhá.

Čištění dat v ProcessMind

Velkou část výše uvedené přípravy můžete provést přímo v ProcessMind po nahrání dat:

• Namapujte a nastavte sloupce: v atributech datové sady nastavte zobrazované názvy, datové typy a formáty časových razítek. Zdrojový soubor nemusíte upravovat.
• Zkontrolujte kvalitu: dashboard Kvalita dat upozorní na chybějící hodnoty a nesrovnalosti, které můžete před analýzou opravit. Doporučení AI pro data navrhují mapování a opravy.
• Skryjte nebo odfiltrujte nepotřebná data: skryjte sloupce v atributech datové sady a pomocí filtrů vyřaďte nepotřebné události.
• Místo opětovného nahrání data obnovte: nahraďte data přímo v datové sadě nebo u průběžně rostoucích dat použijte přírůstkové nahrávání (delta).

K čištění dat mimo ProcessMind můžete před nahráním použít běžné nástroje, například Python/Pandas, Excel, Google Sheets, nástroje ETL nebo OpenRefine. Širší postup, který zahrnuje pojmenování, formáty, přírůstkové nahrávání a archivaci, najdete v tématu ETL pro process mining.

Související témata

• Kde získat data: ze systémů extrahujte jeden řádek pro každý krok
• Podporované formáty dat: typy souborů a požadavky na jejich strukturu
• Kvalita dat: co kontroluje ukazatel kvality
• Řešení problémů s daty: opravy podle konkrétních příznaků
• ETL pro process mining: širší postup přípravy dat