Adattisztítás és -előkészítés process mininghez

A hatékony process mining jó minőségű adatokkal kezdődik. A munka többnyire néhány visszatérő problémáról szól: nem rögzített eseményekről, a rendszerek között eltérő azonosítókról és formátumokról, valamint túl nagy vagy érzékeny exportokról. Ez az oldal bemutatja ezeket a problémákat és a megoldásukhoz szükséges lépéseket. Ha ugyanezt a munkát a ProcessMindben végezné el, olvassa el az Adathalmaz beállítása és az Adatminőség című útmutatót.

Miért fontos az adatok tisztítása és előkészítése?

A process mining eseménynaplókra épül: ezek olyan adathalmazok, amelyek részletesen rögzítik az üzleti folyamat tevékenységeinek sorrendjét. Ha az adatok hiányosak, következetlenek vagy hibásak, az elemzés eredményei sem lesznek megbízhatók. A tiszta, megfelelően strukturált adatokból az eszköz feltérképezheti a munkafolyamatokat, azonosíthatja a szűk keresztmetszeteket és megmutathatja a fejlesztendő területeket.

Az adattisztítás és -előkészítés fő lépései

1. Gyűjtse össze az adatokat minden érintett rendszerből

Az adatok általában több rendszerből származnak: a megrendelések és számlák az ERP-ből, az ügyfélfolyamat lépései a CRM-ből, a hibajegyek pedig a szolgáltatási rendszerből. A tisztítás előtt gyűjtse össze az adatokat mindegyikből. Ha egy lépés adatait tartalmazó rendszer kimarad, azokat később már nem tudja visszanyerni.

• Egyesítse az adatforrásokat: sorolja fel azokat a rendszereket, amelyek a folyamat egyes részeit rögzítik, és mindegyikből exportálja az adatokat. A rendeléstől a pénz beérkezéséig tartó folyamat például az értékesítési rendszert (például Salesforce) és a pénzügyi rendszert (például SAP) is érinti.
• Szüntesse meg az adatszigeteket: egyeztessen a folyamatgazdákkal arról, mely rendszerek relevánsak, és ki exportálhat belőlük adatokat. Az adatok gyakran azért hiányoznak, mert egy rendszert nem vettek számításba, nem pedig azért, mert hibás a lekérdezés. Az integrációs eszközök (például Apache NiFi, Talend, Informatica vagy Power BI) több forrás adatait egy fájlba egyesíthetik.
• Tervezze meg, hogyan kezeli a nem exportálható adatokat: ha egy lépés a rendszeren kívül történik, például telefonos jóváhagyással vagy papíralapú aláírással, legalább az eredményét rögzítse digitálisan, vagy modellezze a lépést, hogy a folyamatnézet teljes maradjon. Az Adatforrások című útmutató rendszerenként ismerteti az adatforrásokat.

2. Távolítsa el az ismétlődő rekordokat

Az ismétlődő rekordok torzítják az elemzést: növelik a tevékenységek számát, és egy eseményt többnek tüntetnek fel. Azonosítsa őket az esetazonosító, a tevékenység és az időbélyeg egyezése alapján, majd törölje vagy vonja össze őket egyetlen sorba.

3. Kezelje a hiányzó adatokat

A hiányzó időbélyegek, tevékenységek vagy esetazonosítók megszakítják az események sorrendjét, és hiányos folyamatmodelleket eredményeznek.

• Keresse meg a hiányzó értékeket: ellenőrizze az üres időbélyegeket, tevékenységneveket és esetazonosítókat.
• Pótolja a hiányokat: ahol lehet, használjon más adatforrásokat vagy szakterületi ismereteket. Ha egy időbélyeg hiányzik, a környező események időpontjai segíthetnek a meghatározásában.
• Modellezzen, ne találgasson: a soha nem rögzített lépéseket folyamatmodellezéssel vegye fel, ne kitalált időbélyegekkel. Így a feltárt és a dokumentált folyamat összhangba kerül.
• Becsülje meg vagy hagyja ki: a kritikus hiányokat pótolja becslési módszerrel, például átlaggal vagy regressziós modellel. Ha egy eset nem állítható helyre, távolítsa el, és jegyezze fel az okát.

4. Egységesítse a formátumokat, azonosítókat és neveket

• Időbélyegek: mindenhol ugyanazt a formátumot használja (például YYYY-MM-DD HH:MM:SS). Ha az exportban több időzóna szerepel, alakítsa át az összes időpontot UTC-re. Tekintse meg a támogatott dátumformátumok listáját
• Esetazonosítók: ugyanahhoz a folyamathoz a különböző rendszerek eltérő azonosítókat használhatnak, például a CRM-ben rendelési számot, a pénzügyi rendszerben pedig számlaszámot. Készítsen megfeleltetést közöttük az exportban vagy egy keresőtáblában, hogy minden esemény ugyanahhoz az esethez kerüljön, és minden folyamatpéldány egyedi azonosítót kapjon. A ProcessMindben ellenőrizze, hogy az egyesített adathalmazokban mindenhol ugyanúgy van-e hozzárendelve az esetazonosító oszlopa. Lásd az adathalmaz attribútumait.
• Tevékenységnevek: a rendszerek eltérően nevezhetik ugyanazt a lépést. Válasszon minden lépéshez egyetlen elnevezést. A „Rendelés jóváhagyása” és a „Rendelés jóváhagyva” például ugyanazt a tevékenységet jelöli.
• Értékek és adattípusok: a számokat számként tárolja, például a költségeket, időtartamokat és összegeket, és egy oszlopban mindig ugyanazt a mértékegységet használja.

5. Távolítsa el a nem releváns eseményeket

Nem minden rögzített esemény tartozik az elemzett folyamathoz. A rendszerbe való bejelentkezések, a technikai újrapróbálkozások és az adminisztratív feladatok csak zsúfolttá teszik a folyamatábrát, érdemi információt nem adnak hozzá.

• Szűrje ki a folyamathoz nem tartozó eseményeket: szakterületi ismeretei alapján döntse el, mely események írják le a folyamatot, a többit pedig zárja ki.
• Válassza meg a megfelelő részletességet: a túl általános események, például a „rendelés kezelése”, elfedik a keresett eltéréseket, a túl részletes események pedig technikai adatokkal zsúfolják tele az ábrát. Csoportosítsa az alacsony szintű eseményeket a hozzájuk tartozó üzleti tevékenység szerint. A határokat a folyamat szakértőivel közösen határozza meg.

6. Kezelje a kiugró értékeket és a zajt

A kiugró értékek torz képet adnak a folyamat szokásos működéséről. Egy ritka esemény miatt rendkívül hosszúra nyúlt feladat például aránytalanul befolyásolhatja az átlagot.

• Azonosítsa őket: jelölje meg azokat az időtartamokat, amelyek jelentősen eltérnek az adott lépés szokásos értékeitől.
• Döntse el, melyeket tartja meg: a valódi kivétel, például egy ritka, de súlyos hiba, gyakran értékes információt ad. Az adathiba viszont nem. Csak azt távolítsa el, ami hibás, ne azt, ami kényelmetlen.

7. Ellenőrizze az események sorrendjét

Ha az események sorrendje hibás, az eszköz is hibás folyamatmenetet rajzol.

• Ellenőrizze a sorrendet: az egyes esetek eseményeinek az időbélyegek sorrendjét kell követniük. Ha ugyanabban az esetben a „Rendelés jóváhagyva” esemény megelőzi a „Rendelés létrehozva” eseményt, ellenőrizze az időbélyegeket.
• Rendezze időbélyeg szerint: feltöltés előtt rendezze az egyes esetek eseményeit az időbélyeg oszlopa alapján.

8. Kezelje a nagy adathalmazokat

A nagy exportok előkészítése és feltöltése időigényes, ezért már az elején vegye figyelembe az adatok méretét.

• Először töltsön fel egy mintát, majd az elemzéshez a teljes adatállományt: egy reprezentatív mintából kiderül, hogy az események megfelelőek-e. A teljes adatállományt akkor töltse fel, ha az elemzéshez szükség van rá.
• Töltse fel fokozatosan: a teljes adatállomány lecserélése helyett az új időszakok adatait növekményes (delta) feltöltéssel fűzze hozzá.
• Válasszon oszlopalapú formátumot: nagy adatmennyiségnél a Parquet- és ORC-fájlok kisebbek, és gyorsabban feltölthetők, mint a CSV- vagy Excel-fájlok. További információ: Támogatott adatformátumok.

9. Védje az érzékeny adatokat

Az eseménynaplók neveket, címeket, ügyfélszámokat és felhasználói azonosítókat tartalmazhatnak, ezért kezelje az adatállományt személyes adatként.

• Anonimizálja vagy maszkolja az adatokat: távolítsa el vagy maszkolja azokat az adatokat, amelyekre az elemzéshez nincs szükség. A felhasználói azonosítókat csak akkor tartsa meg, ha erőforrás-elemzésre is szükség van.
• Korlátozza a hozzáférést: csak azoknak adjon hozzáférést az adatállományhoz, akiknek szükségük van rá. A feltöltött adatkészleteknél használjon szerepköralapú hozzáférés-szabályozást.
• Tartsa be az Önökre vonatkozó szabályokat: ügyeljen a megőrzési időkre, az adatok továbbítás és tárolás közbeni titkosítására, valamint az olyan előírásokra, mint a GDPR.

10. Készítse el az eseménynaplót

Ha az adatok tiszták, egységesek és megfelelő sorrendben vannak, készítse el az eseménynaplót. Ez a process mining elsődleges adatkészlete. Minden eseménynaplónak tartalmaznia kell:

• Esetazonosító: minden folyamatpéldány egyedi azonosítója.
• Tevékenység: a végrehajtott lépés neve.
• Időbélyeg: az esemény időpontja, amely meghatározza az események sorrendjét.

A további oszlopok részletesebb elemzést tesznek lehetővé. Ilyen például az erőforrás (személy vagy csapat), a részleg, a költség vagy bármely egyéni attribútum, amely szerint szűrni szeretné a folyamatot. A teljes követelménylistát a Támogatott adatformátumok oldalon találja.

11. Ellenőrizze az adatkészletet

Mielőtt az eredményekre támaszkodna, ellenőrizze, hogy az adatkészlet valóban azt a folyamatot mutatja-e, amelyet elemezni szeretne.

• Ellenőrizzen néhány esetet: kövessen végig néhány folyamatpéldányt az elejétől a végéig, és ellenőrizze, hogy az eseménysorozatok életszerűek-e.
• Futtasson egy próbaelemzést: elemezze a folyamatot, és keresse a nyilvánvaló hibákat, például a soha elő nem forduló tevékenységeket, a gyanús kezdő- vagy záróeseményeket, illetve a lezáratlan eseteket.
• Egyeztessen a folyamatgazdákkal: az üzleti szakértők percek alatt meg tudják mondani, hogy az adatok a valós működést tükrözik-e.

Adatok tisztítása a ProcessMindben

A fenti előkészítési lépések közül sokat a feltöltés után, a ProcessMindben is elvégezhet:

• Rendelje hozzá és állítsa be az oszlopokat: a forrásfájl átalakítása helyett az adatkészlet attribútumainál adja meg a megjelenített neveket, az adattípusokat és az időbélyegek formátumát.
• Ellenőrizze az adatok minőségét: a Data Quality dashboard jelzi a hiányzó értékeket és az eltéréseket, így az elemzés előtt javíthatja őket. Az AI adatjavaslatok oszlop-hozzárendeléseket és javításokat is ajánlanak.
• Rejtse el vagy szűrje ki a nem releváns adatokat: az adatkészlet attribútumainál elrejtheti az oszlopokat, a szűrőkkel pedig kizárhatja a szükségtelen eseményeket.
• Töltse újra az adatokat újrafeltöltés helyett: cserélje le az adatokat a meglévő helyükön, vagy használjon növekményes (delta) feltöltést a folyamatosan bővülő adatkészletekhez.

A ProcessMinden kívüli adattisztításhoz általános eszközöket használhat, például a Python/Pandas, az Excel vagy a Google Sheets alkalmazást, ETL-eszközöket vagy az OpenRefine-t. Az adat-előkészítés további lépéseiről, például az elnevezésről, a formátumokról, a fokozatos betöltésről és az archiválásról az ETL process mininghez című útmutatóban olvashat.

Kapcsolódó témák

• Hol talál adatokat?: nyerjen ki rendszereiből minden lépéshez egy sort
• Támogatott adatformátumok: fájltípusok és szerkezeti követelmények
• Data Quality: mit ellenőriz a modellminőség-jelző
• Adatproblémák elhárítása: megoldások az egyes problémákra
• ETL process mininghez: részletes útmutató az adatok előkészítéséhez