Bu sayfada
> kaynaklar > belgeler > süreç madenciliği verisi > Process Mining için veri temizleme ve hazırlama

Process Mining için veri temizleme ve hazırlama

Process Intelligence Process Intelligence Process Intelligence kullanıcı lisansı veya üzeri planlarda kullanılabilir. Bu plandaki veya daha üst plandaki kullanıcı lisansları bu özelliği kullanabilir. Planları karşılaştırın Process Intelligence kullanıcı lisansı veya üzeri planlarda kullanılabilir

Process Mining için kaliteli veri gerekir. Hazırlık sırasında genellikle aynı sorunlarla karşılaşılır: kaydedilmemiş olaylar, sistemler arasında uyuşmayan kimlikler, farklı biçimler ve işlenmesi zor büyüklükte ya da hassas dışa aktarımlar. Bu sayfada bu sorunları ve çözüm adımlarını ele alıyoruz. Aynı işlemleri ProcessMind içinde yapmak için Veri Setinizi yapılandırma ve Veri kalitesi sayfalarına göz atın.

Veri temizleme ve hazırlama neden önemlidir?

Process Mining, bir iş sürecindeki etkinliklerin ayrıntılı sırasını içeren veri setlerine, yani Event Loglara dayanır. Bu veri setleri eksik veya tutarsızsa ya da hata içeriyorsa elde ettiğiniz içgörülere güvenemezsiniz. Temiz ve doğru yapılandırılmış veri, aracın iş akışlarını haritalamasını, darboğazları belirlemesini ve iyileştirme alanlarını ortaya çıkarmasını sağlar.

Veri temizleme ve hazırlama adımları

1. Sürece dahil olan tüm sistemlerden veri toplayın

Veriler genellikle birden fazla sistemden gelir: sipariş ve faturalar için ERP, müşteri adımları için CRM, destek kayıtları içinse hizmet masası. Temizliğe başlamadan önce tüm sistemlerden veri toplayın. Dışarıda bıraktığınız bir sistemdeki adımı daha sonra geri getiremezsiniz.

  • Veri kaynaklarını bir araya getirin: sürecin bir bölümünü kaydeden sistemleri listeleyin ve her birinden veri alın. Örneğin, Siparişten Tahsilata süreci bir satış sistemini (Salesforce gibi) ve bir finans sistemini (SAP gibi) kapsar.
  • Veri silolarını ortadan kaldırın: hangi sistemlerin dahil edileceğini ve verileri kimlerin dışa aktarabileceğini süreç sahipleriyle kararlaştırın. Eksik veriler genellikle bozuk bir sorgudan değil, bildirilmemiş bir sistemden kaynaklanır. Apache NiFi, Talend, Informatica veya Power BI gibi entegrasyon araçları birden fazla kaynağı tek dosyada birleştirebilir.
  • Dışa aktaramayacağınız adımları planlayın: bir adım sistem dışında gerçekleşiyorsa (telefonla onay veya kağıt üzerinde imza gibi), en azından sonucunu dijital bir sistemde kaydedin ya da süreç görünümünün eksiksiz kalması için adımı modelleyin. Veri kaynakları sayfasında sistemlere göre veri kaynakları ele alınır.

2. Yinelenen kayıtları kaldırın

Yinelenen kayıtlar etkinlik sayılarını artırarak ve tek bir olayı birden fazla olay gibi göstererek analizi çarpıtır. Aynı vaka kimliğine, etkinliğe ve zaman damgasına sahip kayıtları bulun; ardından bunları kaldırın veya tek bir satırda birleştirin.

3. Eksik verileri ele alın

Eksik zaman damgaları, etkinlikler veya vaka kimlikleri olay sırasını bozar ve süreç modellerinin eksik kalmasına yol açar.

  • Eksik değerleri belirleyin: boş zaman damgalarını, etkinlik adlarını ve vaka kimliklerini bulun.
  • Boşlukları doldurun: mümkün olduğunda diğer kaynaklardan veya alan bilginizden yararlanın. Bir zaman damgası eksikse çevresindeki olayların zamanları, eksik değeri tahmin etmenize yardımcı olabilir.
  • Veri uydurmak yerine modelleyin: hiç kaydedilmemiş adımları, zaman damgaları uydurmak yerine süreç modelleme yoluyla ekleyin. Böylece keşfedilen süreçle belgelenen süreç örtüşür.
  • Eksik değerleri tahmin edin veya kayıtları çıkarın: önemli eksikler için bir tahmin yöntemi kullanın (ortalama ile doldurma veya regresyon modeli gibi). Bir vaka kurtarılamıyorsa kaydı çıkarın ve nedenini belirtin.

4. Biçimleri, kimlikleri ve adları standartlaştırın

  • Zaman damgaları: her yerde aynı biçimi kullanın (örneğin, YYYY-MM-DD HH:MM:SS). Dışa aktarılan verilerde farklı saat dilimleri varsa tüm değerleri UTC’ye dönüştürün. Desteklenen tarih biçimlerinin listesine göz atın
  • Vaka kimlikleri: aynı süreç farklı sistemlerde farklı kimliklerle kaydedilebilir; örneğin CRM’de sipariş numarası, finans sisteminde fatura numarası kullanılır. Her olayın aynı vakaya bağlanması için bu kimlikler arasında bir eşleme oluşturun (dışa aktarılan dosyada veya arama tablosunda) ve her süreç örneğine benzersiz bir kimlik verin. ProcessMind’de birleştirdiğiniz her veri setinde vaka kimliği sütununun aynı şekilde eşlendiğini kontrol edin; bkz. veri seti öznitelikleri.
  • Etkinlik adları: sistemler aynı adımı farklı adlarla kaydedebilir. Her adım için tek bir ad belirleyin (“Siparişi Onayla” ve “Sipariş Onayı” aynı etkinliktir).
  • Değerler ve türler: sayıları sayı olarak tutun (maliyet, süre, tutar) ve her sütunda tek bir ölçü birimi kullanın.

5. İlgisiz olayları kaldırın

Kaydedilen her olay analiz ettiğiniz sürecin parçası değildir. Sistem oturum açma kayıtları, teknik yeniden denemeler ve idari görevler, içgörü sağlamadan haritayı kalabalıklaştırır.

  • Sürece ait olmayanları filtreleyin: hangi olayların süreci anlattığına alan bilginizle karar verin ve geri kalanları çıkarın.
  • Doğru ayrıntı düzeyini seçin: çok genel olaylar (“sipariş işlendi” gibi) aradığınız farklılıkları gizler; çok ayrıntılı olaylarsa haritayı teknik bilgilerle doldurur. Süreç uzmanlarıyla birlikte, düşük düzeyli olayları ilgili iş etkinliği altında gruplayın.

6. Aykırı değerleri ve gürültüyü ele alın

Aykırı değerler, sürecin normalde nasıl işlediğine dair yanıltıcı bir görünüm oluşturur. Nadir bir olay yüzünden çok uzun süren bir görev, ortalamaları belirgin biçimde etkileyebilir.

  • Aykırı değerleri belirleyin: bir adımın normal aralığından çok uzak süreleri işaretleyin.
  • Tutulup tutulmayacaklarına karar verin: nadir ama önemli bir arıza gibi gerçek bir istisna, saklanmaya değer bir içgörü sağlayabilir; veri hatası ise sağlamaz. Yalnızca hatalı olanları çıkarın, işinizi zorlaştıranları değil.

7. Olay sırasını kontrol edin

Olaylar yanlış sıradaysa araç akışı hatalı biçimde izler.

  • Sırayı doğrulayın: her vakadaki olaylar zaman damgalarına göre sıralanmalıdır. Aynı vakada “Sipariş Onaylandı” olayı “Sipariş Oluşturuldu” olayından önce geliyorsa zaman damgalarını kontrol edin.
  • Zaman damgasına göre sıralayın: yüklemeden önce her vakadaki olayları zaman damgası sütununa göre sıralayın.

8. Büyük veri setlerini ele alın

Büyük verileri dışa aktarmak ve yüklemek zaman alır. Bu nedenle boyutla uğraşmak yerine, dosya boyutunu baştan hesaba katın.

  • İncelemek için örneklem, analiz için tüm veri: dışa aktarılan olayların tutarlı olup olmadığını görmek için temsili bir örneklem yeterlidir; analiz gerektirdiğinde tüm veriyi yükleyin.
  • Verileri kademeli yükleyin: tüm veriyi değiştirmek yerine, artımlı (delta) yüklemelerle yeni dönemleri ekleyin.
  • Sütun tabanlı biçimleri tercih edin: büyük veri hacimlerinde Parquet ve ORC dosyaları CSV veya Excel’den daha küçüktür ve daha hızlı yüklenir; bkz. Desteklenen veri biçimleri.

9. Hassas verileri koruyun

Event Loglar ad, adres, müşteri numarası ve kullanıcı kimliği içerebilir. Bu nedenle dışa aktarılan verileri kişisel veri olarak ele alın.

  • Anonimleştirin veya maskeleyin: analiz için gerekmeyen verileri kaldırın ya da maskeleyin. Kullanıcı kimliklerini yalnızca kaynak analizi için gerektiğinde tutun.
  • Erişimi sınırlandırın: dışa aktarılan verileri yalnızca ihtiyaç duyan az sayıda kişiyle paylaşın ve yüklediğiniz veri setlerine erişimi rollere göre denetleyin.
  • Geçerli kurallara uyun: saklama sürelerini, aktarım ve depolama sırasında şifrelemeyi, müşteri verileri için GDPR gibi düzenlemeleri dikkate alın.

10. Event Log oluşturun

Veriler temiz, tutarlı ve sıralı hale geldiğinde Process Mining için temel veri seti olan Event Logu oluşturun. Her Event Log şu bilgileri içermelidir:

  • Vaka kimliği: her süreç örneği için benzersiz bir kimlik.
  • Etkinlik: gerçekleşen adımın adı.
  • Zaman damgası: olayın gerçekleştiği zaman; olayların sırasını belirler.

İsteğe bağlı sütunlar daha fazla ayrıntı sağlar: kaynak (kişi veya ekip), departman, maliyet veya süreci incelemek için kullanmak istediğiniz özel bir öznitelik. Tüm gereklilikler Desteklenen veri biçimleri sayfasında listelenmiştir.

11. Veri setini doğrulayın

Sonuçlara güvenmeden önce veri setinin, incelediğinizi düşündüğünüz süreci gerçekten yansıttığını kontrol edin.

  • Vakaları örneklem olarak kontrol edin: birkaç süreç örneğini baştan sona inceleyin ve olay sıralarının tutarlı olduğunu doğrulayın.
  • Bir test analizi çalıştırın: süreci bir kez analiz edin ve belirgin tutarsızlıkları arayın. Hiç gerçekleşmeyen etkinlikler, yanlış görünen başlangıç veya bitiş olayları ya da kapanmış olması gereken vakalar bunlara örnektir.
  • Süreç sahiplerinden doğrulama alın: iş uzmanları, verilerin işlerin gerçekte nasıl yürüdüğünü yansıtıp yansıtmadığını kısa sürede anlayabilir.

ProcessMind içinde veri temizleme

Yukarıdaki hazırlık adımlarının çoğunu verileri yükledikten sonra ProcessMind içinde gerçekleştirebilirsiniz:

  • Sütunları eşleyin ve yapılandırın: kaynak dosyayı yeniden düzenlemek yerine, veri seti özniteliklerinde görünen adları, veri türlerini ve zaman damgası biçimlerini ayarlayın.
  • Veri kalitesini kontrol edin: Veri kalitesi Dashboardu eksik değerleri ve tutarsızlıkları işaretleyerek analizden önce düzeltmenize yardımcı olur. AI veri önerileri ise eşleme ve düzeltme önerileri sunar.
  • İlgisiz verileri gizleyin veya filtreleyin: veri seti özniteliklerinde sütunları gizleyin, ihtiyacınız olmayan olayları çıkarmak için filtreleri kullanın.
  • Yeniden yüklemek yerine verileri yenileyin: verileri yerinde değiştirin veya sürekli büyüyen veri setleri için artımlı (delta) yüklemeleri kullanın.

ProcessMind dışında veri temizliği için genel amaçlı araçlardan (Python/Pandas, Excel veya Google Sheets, ETL araçları, OpenRefine) yararlanabilirsiniz. Adlandırma, biçimler, artımlı yükleme ve arşivleme dahil daha geniş hazırlık adımları için Process Mining için ETL sayfasına göz atın.

İlgili konular