Process Mining için ETL En İyi Yöntemler

Süreç Madenciliği için ETL

Süreç madenciliği, ETL’yi kritik bir bileşen haline getiren, çeşitli sistemlerden gelen verilere bağlıdır. Extract, Transform, Load (ETL), kaynak sistemlerden veri çıkaran, gerektiği gibi dönüştüren ve bir veri ambarına veya süreç madenciliği aracına yükleyen bir veri ambarı sürecidir. Bu süreç, verileri toplama, temizlik, organize etme ve analiz için hazırlamada esastır.

İşte süreç madenciliği için ETL’yi etkili bir şekilde gerçekleştirme rehberi.

Küresel Yaklaşım

En önemli kural: Veri çekmeye acele etmeyin. Veri çıkarmak hem maliyetli hem de zaman alıcıdır.

Proje hedeflerinizi tanımlayarak başlayın ve analiz etmek istediğiniz süreçleri belirleyin. Bir süreç seçin ve bir BPMN modeli kullanarak hızlı bir taslak oluşturun. Modeli, proje hedeflerinizle uyumlu olacak şekilde verilerle zenginleştirin. Excel dosyaları, kolayca dışa aktarılabilir veriler veya diğer analizlerde zaten kullanılan veriler gibi kolayca erişilebilir verilerle başlayın. Ardından, veri boşluklarını belirleyin ve yalnızca hedeflerinize ulaşmak için gerekli veriyi çıkarın. Tüm verileri ‘ne olur ne olmaz’ düşüncesiyle toplama isteğine karşı koyun—gereksiz veriler sizi yavaşlatır. Sürekli iyileştirme döngünüzün hızı genellikle veri toplamadan daha fazla veri toplamaya bağlıdır.

Basit dosya yüklemeleriyle başlayın. Veriler sık güncelleniyorsa ve sürekli analiz gerekiyorsa, yalnızca mantıklı olduğunda veri yüklemelerini otomatikleştirin. Çoğu durumda, istikrar için statik analiz tercih edilir. Hangi yaklaşımı seçerseniz seçin, sizi yavaşlatmasına izin vermeyin. Verilerinizi birkaç dakika içinde her çeyrekte yüklemek, haftalarca otomasyon yapmaktan ve sonrasında verilerin yanlış veya iş gereksinimleriniz için yetersiz olduğunu keşfetmekten daha iyidir.

Hangi Veri Gerekli?

Süreç madenciliği, spesifik veriler gerektirir: bir case ID, bir timestamp ve bir aktivite. Maliyet, kullanıcı, ekip veya karbon ayak izi gibi ek veriler analizinizi zenginleştirebilir. Grafikler için ekstra boyutlar veya metrikler için ek ölçütler de ekleyebilirsiniz.

Gerekli alanlar yaygın olduğundan, bazı süreç madenciliği verilerini elde etmek genellikle kolaydır. Ancak, gerekli tüm verilerle tek bir veri kümesi oluşturmak zorlu olabilir ve genellikle ayrı parçaları birleştirip bir dosyada birleştirmek için önemli dönüşümler gerektirir.

Her şeyi bir anda elde etme konusunda endişelenmeyin—elinizde olanla başlayın.

Hangi Veri Formatı Gerekli?

Gelişmiş veri formatları bulunmasına rağmen, çoğu araç hala basit metin dosyalarına dayanır. Virgülle ayrılmış (CSV) veya tab ile ayrılmış (TSV/TXT) dosyalar kullanın. Sabit genişlikteki metin dosyalarından kaçının, çünkü çoğu araç bunları işleyemez.

Dosyalar bir başlık satırı ile başlamalı, ardından başlığın alanlarını ve sırasını karşılayan veri satırları gelmelidir.

Türkçe olmayan karakterlere ihtiyacınız varsa, UTF-8 kodlaması kullanın. Alanların ayırıcılar veya satır sonu karakterleri içermediğinden emin olun. Alanların etrafında tırnak işaretleri kullanabilirsiniz, ancak alanların içinde tırnak işaretlerinden kaçının. Gerekirse işleme işlemini basitleştirmek için tırnak işaretlerini başka bir karakterle değiştirin.

Kolay Erişilebilir Veriler

Kolayca erişilebilir verilerin listesini çıkararak başlayın. Bu kaynakları değerlendirin:

• Aylık veya haftalık Excel raporları ile ham veriler. Gerekirse Excel’i kullanarak formatlayın.
• Diğer araçlardaki süreç madenciliği verileri, genellikle ek ön işleme gerektirmez.
• İK, finans veya ITSM sistemlerinden standart dışa aktarma seçenekleri. Süreç madenciliği aracınızın desteklediği bir formata dışa aktarın.
• Gerekli verilere yönelik raporlamalar içeren analitik araçlardan dışa aktarmalar. Uygun formatı oluşturmak için pivot tablolar ve dışa aktarmalar kullanın.
• Temizlenmiş ve birleştirilmiş veriler içeren veri ambarları. Verileri seçmek ve CSV olarak dışa aktarmak için ambar araçlarını kullanın.

Süreç Sistemleri

Veriler genellikle SAP, Workday, Salesforce veya ServiceNow gibi sistemlerde depolanır. Öncelikle, basit bir dışa aktarmanın ihtiyaçlarınızı karşılayıp karşılamadığını kontrol edin, çünkü bu en hızlı değer yaratma yoludur. Eğer değilse, ETL araçlarını kullanarak verileri, süreç madenciliği aracınıza çekin, dönüştürün ve yükleyin.

Kuruluşunuza bağlı olarak, IT, sistem sahipleri veya veri ambarı ekiplerini dahil etmeniz gerekebilir. Bu, veri toplamayı yavaşlatabilir, ancak bu ekipleri atlamayın—sürecin hızlanmasını sağlayacak prosedürler ve deneyime sahiptirler. Onlarla çevik bir döngü içinde çalışın, kolayca erişilebilen verilerle başlayın ve bir seferde her şeye yönelik isteklerden kaçının, bu gecikmelere neden olabilir.

Başlangıçta, verileri metin formatında isteyin. Daha sonra, süreç madenciliği aracınızın API’si veya dahili ETL araçlarını kullanarak otomatikleştirin.

Süreç Madenciliği Araçlarındaki Dahili ETL Araçları

Genellikle, süreç madenciliği satıcılarının sunduğu dahili ETL araçlarını kullanmaktan kaçınmanızı öneririz. Kullanışlı görünebilirler, ancak önemli sınırlamaları vardır:

• Özel ETL araçlarına kıyasla daha düşük kalite.
• SQL gibi endüstri standartları yerine tescilli teknolojinin kullanımı, eğitim ihtiyaçlarını artırır ve uzmanlık bulunurluğunu azaltır.
• Satıcı bağımlılığı, araç değiştirmeyi zorlaştırır.
• Veri siloları oluşturmak, diğer analiz veya AI projelerinde veri yeniden kullanımını sınırlar.

Üçüncü Taraf ETL Araçları

Birçok üçüncü taraf ETL aracı, süreç madenciliği ihtiyaçlarını karşılayabilir. Süreç madenciliği belirli veriler gerektirse de, işlemler standarttır.

ETL mantığının daha kolay yeniden kullanımı ve uzun vadeli sürdürülebilirlik için SQL tabanlı araçları tercih edin. Yeni araçların benimsenmesi nedeniyle oluşabilecek gecikmeleri veya proje engellerini önlemek için evdeki araçları kullanın.

Süreç madenciliği için yaygın üçüncü taraf ETL araçları:

• CData: Çıkarma için mükemmeldir, genellikle diğer araçlarla birlikte kullanılır.
• dbt: Büyük dönüşümleri yönetmek için özellikler sunan SQL tabanlı bir dönüşüm aracı.
• BigQuery: Google tarafından yönetilen bir veri ambarı, büyük veri kümelerinde hızlı SQL sorguları için idealdir.
• Snowflake: Ölçeklenebilir depolama ve hesaplama için bulut tabanlı bir platform, dönüşüm ve analiz için kullanılır.
• DataBricks: Veri mühendisliği, makine öğrenimi ve analitiği birleştiren birleşik bir analitik platformu.
• Talend: Çeşitli veri kaynaklarını destekleyen grafiksel bir ETL aracı.
• Apache Nifi: Veri akışı otomasyonu ve gerçek zamanlı işlem için açık kaynaklı bir ETL aracı.

Süreç Madenciliği için Uzmanlaşmış ETL Araçları

Süreç madenciliği için özelleşmiş ETL araçları, üçüncü taraf ETL avantajlarını süreç madenciliği özellikleri ve şablonlarıyla birleştirir.

Örnekler:

• Konekti: Süreç veri modellerini doğru ve hızlı bir şekilde oluşturmak için tasarlanmıştır.

Ana Notlar

ETL, süreç madenciliği projelerinin amacı değil, ancak genellikle gerekli bir adımdır. ETL sürecinizi gecikmeleri önlemek için ayarlayın:

• Kolayca erişilebilir verileri kullanın.
• Manuel yüklemelerle başlayın; uygun olduğunda otomasyon yapın.
• Mevcut araçları kullanın, SQL’i tercih edin.

En önemlisi, ihtiyacınız olan veriyle küçük başlayın ve kademeli olarak genişleyin. Tüm verileri baştan toplamaktan kaçının, çünkü bu projenizi rayından çıkarabilir.