ETL voor Process Mining

ETL voor Process Mining

Process Mining vertrouwt op data, die afkomstig is uit verschillende systemen, waardoor ETL een cruciaal onderdeel is. ETL, kort voor Extract, Transform, Load, is een data warehousing proces dat data uit bronsystemen extraheert, waar nodig transformeert en laadt in een data warehouse of process mining tool. Dit proces is essentieel voor het verzamelen, opschonen, organiseren en voorbereiden van data voor analyse.

Hier is een gids voor het effectief uitvoeren van ETL voor process mining.

Wereldwijde Aanpak

De belangrijkste regel: haast je niet in het extraheren van data. Data-extractie is zowel kostbaar als tijdrovend.

Begin met het definiëren van je projectdoelen en het identificeren van de processen die je wilt analyseren. Kies één proces om mee te beginnen en maak snel een schets met een BPMN-model. Voeg data toe aan het model om af te stemmen op je projectdoelen. Begin met eenvoudig beschikbare data, zoals Excel-bestanden, eenvoudig te exporteren data, of data al gebruikt voor andere analyses. Identificeer vervolgens eventuele datagaps en extraheer alleen de data die nodig is om je doelen te bereiken. Weersta de drang om alle data te verzamelen ‘voor het geval dat’—overmatige data zal je vertragen. De snelheid van je continue verbetercyclus hangt vaak meer af van dataverzameling dan van implementatie.

Begin met eenvoudige bestandsuploads. Automatiseer het laden van data alleen wanneer het zinvol is, zoals bij frequent bijgewerkte data die continue analyse vereisen. In veel gevallen is statische analyse beter voor stabiliteit. Welke aanpak je ook kiest, laat het je niet vertragen. Het is beter om data elk kwartaal in een paar minuten te uploaden dan weken te besteden aan automatiseren, om er vervolgens achter te komen dat de data onjuist of ontoereikend is voor je business case.

Welke Data is Nodig?

Process Mining vereist specifieke data: een case ID, een timestamp en een activiteit. Aanvullende data, zoals kosten, gebruiker, team of CO2-voetafdruk, kan je analyse verbeteren. Je kunt ook extra dimensies voor grafieken of aanvullende maten voor metrics opnemen.

Het verkrijgen van sommige process mining data is meestal eenvoudig, aangezien de vereiste velden gemeenschappelijk zijn. Het maken van een enkele dataset met alle benodigde data kan echter uitdagend zijn, vaak zijn aanzienlijke transformaties nodig om verschillende stukken samen te voegen en te verenigen tot één bestand.

Maak je geen zorgen over het hebben van alles tegelijk—begin met wat je hebt.

Welk Dataformaat is Nodig?

Hoewel er geavanceerde dataformaten bestaan, vertrouwen de meeste tools nog steeds op eenvoudige tekstbestanden. Gebruik komma-gescheiden (CSV) of tab-gescheiden (TSV/TXT) bestanden. Vermijd vaste-breedte tekstbestanden, aangezien de meeste tools deze niet kunnen verwerken.

Bestanden moeten beginnen met een header-rij, gevolgd door data-rijen die overeenkomen met de velden en volgorde van de header.

Als je niet-Engelse tekens nodig hebt, gebruik dan UTF-8 codering. Zorg ervoor dat velden geen scheidingstekens of eind-van-regel tekens bevatten. Je kunt aanhalingstekens rondom velden gebruiken, maar vermijd aanhalingstekens binnen velden. Indien nodig, vervang aanhalingstekens door een ander teken om de verwerking te vereenvoudigen.

Eenvoudig Beschikbare Data

Begin met het opsommen van gemakkelijk toegankelijke data. Overweeg deze bronnen:

• Maandelijkse of wekelijkse Excel-rapporten met ruwe data. Gebruik Excel om indien nodig opnieuw te formatteren.
• Process mining data van andere tools, vaak zonder aanvullende preprocessing nodig.
• Standaard exportopties van systemen zoals HR, financieel, of ITSM-systemen. Exporteer naar een formaat dat je process mining tool ondersteunt.
• Exporten van analytische tools die rapporteren over vereiste data. Gebruik draaitabellen en exporten om het juiste formaat te creëren.
• Data warehouses met schoongemaakte en gecombineerde data. Gebruik warehouse-tools om data te selecteren en te exporteren als CSV.

Process Systemen

Data wordt vaak opgeslagen in systemen zoals SAP, Workday, Salesforce of ServiceNow. Controleer eerst of een eenvoudige export je behoeften dekt, want dit is de snelste manier om waarde te creëren. Zo niet, gebruik dan ETL-tools om data te extraheren, transformeren en laden in je process mining tool.

Afhankelijk van je organisatie moet je mogelijk IT, systeemeigenaren of data warehouse-teams betrekken. Hoewel dit het verzamelen van data kan vertragen, moet je deze teams niet overslaan—ze hebben procedures en ervaring die het proces kunnen versnellen. Werk in een agile cyclus met hen, beginnend met eenvoudig beschikbare data en vermijd verzoeken voor alles tegelijk, wat vertragingen kan veroorzaken.

Vraag aanvankelijk om data in tekstformaat. Automatiseer later door gebruik te maken van de API van je process mining tool of ingebouwde ETL-tools.

Ingebouwde ETL Tools in Process Mining Tools

We adviseren over het algemeen tegen het gebruik van ingebouwde ETL-tools van process mining-leveranciers. Hoewel ze handig lijken, hebben ze aanzienlijke beperkingen:

• Lagere kwaliteit vergeleken met toegewijde ETL-tools.
• Gebruik van propriëtaire technologie in plaats van industriestandaarden zoals SQL, wat de trainingsbehoefte verhoogt en de beschikbaarheid van expertise vermindert.
• Vendor lock-in, waardoor het moeilijker wordt om van tools te wisselen.
• Creëren van datasilo’s, wat de herbruikbaarheid van data in andere analytics of AI-projecten beperkt.

Third-Party ETL-tools

Veel third-party ETL-tools ondersteunen Process Mining. Hoewel process mining specifieke data vraagt, zijn de ETL-stappen standaard.

Kies bij voorkeur SQL-gebaseerde tools voor makkelijk hergebruik van ETL-logica en eenvoudiger onderhoud op de lange termijn. Gebruik interne tools om vertragingen of blokkades bij het invoeren van nieuwe tools te voorkomen.

Populaire third-party ETL-tools voor Process Mining:

• CData: Zeer geschikt voor data extractie, vaak in combinatie met andere tools.
• dbt: SQL-based transformatietool, goed voor grote transformaties.
• BigQuery: Managed data warehouse van Google, ideaal voor snelle SQL-queries op grote datasets.
• Snowflake: Cloudplatform voor schaalbare opslag, verwerking en analyse.
• DataBricks: Unified analytics platform met data engineering, machine learning en analytics.
• Talend: Grafische ETL-tool, ondersteunt veel databronnen.
• Apache Nifi: Open source ETL-tool voor dataflow automatisering en real-time verwerking.

Gespecialiseerde ETL-tools voor Process Mining

Gespecialiseerde ETL-tools voor Process Mining combineren de voordelen van third-party ETL met process mining functies en templates.

Voorbeelden:

• Evidant: Data Transform Refinery. Gericht op het extraheren en transformeren van process mining data bij grote hoeveelheden data.
• Konekti: Ontworpen om snel en nauwkeurig datamodellen voor processen te maken.

Kernpunten

ETL is niet het doel van process mining projecten, maar vaak een noodzakelijke stap. Stel je ETL-proces op om vertragingen te voorkomen:

• Gebruik eenvoudig beschikbare data.
• Begin met handmatige uploads; automatiseer waar gepast.
• Maak gebruik van bestaande tools, waarbij SQL de voorkeur heeft.

Belangrijkst is om klein te beginnen met de data die je nodig hebt en geleidelijk uit te breiden. Voorkom dat je alle data vooraf verzamelt, omdat dit je project kan ontsporen.