Process Mining için ETL: En İyi Yöntemler

Process Mining için ETL

Process Mining, ETL’yi kritik bir bileşen haline getiren, çeşitli sistemlerden gelen verilere bağlıdır. Extract, Transform, Load (ETL), kaynak sistemlerden veri çıkaran, gerektiği gibi dönüştüren ve bir veri ambarına veya süreç madenciliği aracına yükleyen bir veri ambarı sürecidir. Bu süreç, verileri toplama, temizleme ve düzenleme ve analiz için hazırlamada gereklidir.

İşte süreç madenciliği için ETL’yi etkili bir şekilde gerçekleştirme rehberi.

Küresel Yaklaşım

En önemli kural: Veri çekmeye acele etmeyin. Veri çıkarmak hem maliyetli hem de zaman alıcıdır.

Proje hedeflerinizi tanımlayarak başlayın ve analiz etmek istediğiniz süreçleri belirleyin. Bir süreç seçin ve bir BPMN modeli kullanarak hızlı bir taslak oluşturun. Modeli, proje hedeflerinizle uyumlu olacak şekilde verilerle zenginleştirin. Excel dosyaları, kolayca dışa aktarılabilir veriler veya diğer analizlerde zaten kullanılan veriler gibi kolayca erişilebilir verilerle başlayın. Ardından, veri boşluklarını belirleyin ve yalnızca hedeflerinize ulaşmak için gerekli veriyi çıkarın. Tüm verileri ‘ne olur ne olmaz’ düşüncesiyle toplama isteğine karşı koyun—gereksiz veriler sizi yavaşlatır. Sürekli iyileştirme döngünüzün hızı genellikle veri toplamadan daha fazla veri toplamaya bağlıdır.

Basit dosya yüklemeleriyle başlayın. Veriler sık güncelleniyorsa ve sürekli analiz gerekiyorsa, yalnızca mantıklı olduğunda veri yüklemelerini otomatikleştirin. Çoğu durumda, istikrar için statik analiz tercih edilir. Hangi yaklaşımı seçerseniz seçin, sizi yavaşlatmasına izin vermeyin. Verilerinizi birkaç dakika içinde her çeyrekte yüklemek, haftalarca otomasyon yapmaktan ve sonrasında verilerin yanlış veya iş gereksinimleriniz için yetersiz olduğunu keşfetmekten daha iyidir.

Hangi Veri Gerekli?

Process Mining, spesifik veriler gerektirir: bir case ID, bir zaman damgası (zaman damgası) ve bir aktivite. Maliyet, kullanıcı, ekip veya karbon ayak izi gibi ek veriler analizinizi zenginleştirebilir. Grafikler için ekstra boyutlar veya metrikler için ek ölçütler de ekleyebilirsiniz.

Gerekli alanlar yaygın olduğundan, bazı süreç madenciliği verilerini elde etmek genellikle kolaydır. Ancak, gerekli tüm verilerle tek bir veri kümesi oluşturmak zorlu olabilir ve genellikle ayrı parçaları birleştirip bir dosyada birleştirmek için önemli dönüşümler gerektirir.

Her şeyi bir anda elde etme konusunda endişelenmeyin—elinizde olanla başlayın.

Hangi Veri Formatı Gerekli?

Gelişmiş veri formatları bulunmasına rağmen, çoğu araç hala basit metin dosyalarına dayanır. Virgülle ayrılmış (CSV) veya tab ile ayrılmış (TSV/TXT) dosyalar kullanın. Sabit genişlikteki metin dosyalarından kaçının, çünkü çoğu araç bunları işleyemez.

Dosyalar bir başlık satırı ile başlamalı, ardından başlığın alanlarını ve sırasını karşılayan veri satırları gelmelidir.

Türkçe karakterlere veya özel sembollere ihtiyacınız varsa, UTF-8 kodlaması kullanın. Alanların ayırıcılar veya satır sonu karakterleri içermediğinden emin olun. Alanların etrafında tırnak işaretleri kullanabilirsiniz, ancak alanların içinde tırnak işaretlerinden kaçının. Gerekirse işleme işlemini basitleştirmek için tırnak işaretlerini başka bir karakterle değiştirin.

Kolay Erişilebilir Veriler

Kolayca erişilebilir verilerin listesini çıkararak başlayın. Bu kaynakları değerlendirin:

• Aylık veya haftalık Excel raporları ile ham veriler. Gerekirse Excel’i kullanarak formatlayın.
• Diğer araçlardaki süreç madenciliği verileri, genellikle ek ön işleme gerektirmez.
• İK, finans veya ITSM sistemlerinden standart dışa aktarma seçenekleri. Process Mining aracınızın desteklediği bir formata dışa aktarın.
• Gerekli verilere yönelik raporlamalar içeren analitik araçlardan dışa aktarmalar. Uygun formatı oluşturmak için pivot tablolar ve dışa aktarmalar kullanın.
• Temizlenmiş ve birleştirilmiş veriler içeren veri ambarları. Verileri seçmek ve CSV olarak dışa aktarmak için ambar araçlarını kullanın.

Süreç Sistemleri

Veriler genellikle SAP, Workday, Salesforce veya ServiceNow gibi sistemlerde depolanır. Öncelikle, basit bir dışa aktarmanın ihtiyaçlarınızı karşılayıp karşılamadığını kontrol edin, çünkü bu en hızlı değer yaratma yoludur. Eğer değilse, ETL araçlarını kullanarak verileri, süreç madenciliği aracınıza çekin, dönüştürün ve yükleyin.

Kuruluşunuza bağlı olarak, IT, sistem sahipleri veya veri ambarı ekiplerini dahil etmeniz gerekebilir. Bu, veri toplamayı yavaşlatabilir, ancak bu ekipleri atlamayın—sürecin hızlanmasını sağlayacak prosedürler ve deneyime sahiptirler. Onlarla çevik bir döngü içinde çalışın, kolayca erişilebilen verilerle başlayın ve bir seferde her şeye yönelik isteklerden kaçının, bu gecikmelere neden olabilir.

Başlangıçta, verileri metin formatında isteyin. Daha sonra, süreç madenciliği aracınızın API’si veya dahili ETL araçlarını kullanarak otomatikleştirin.

Process Mining Araçlarındaki Dahili ETL Araçları

Genellikle, süreç madenciliği satıcılarının sunduğu dahili ETL araçlarını kullanmaktan kaçınmanızı öneririz. Kullanışlı görünebilirler, ancak önemli sınırlamaları vardır:

• Özel ETL araçlarına kıyasla daha düşük kalite.
• SQL gibi endüstri standartları yerine tescilli teknolojinin kullanımı, eğitim ihtiyaçlarını artırır ve uzmanlık bulunurluğunu azaltır.
• Satıcı bağımlılığı, araç değiştirmeyi zorlaştırır.
• Veri siloları oluşturmak, diğer analiz veya AI projelerinde veri yeniden kullanımını sınırlar.

Üçüncü Parti ETL Araçları

Birçok üçüncü parti ETL aracı process mining ihtiyaçlarını karşılayabilir. Process Mining özel veri gerektirse de işlemler genellikle standarttır.

SQL tabanlı araçları tercih edin, böylece ETL mantığını kolayca tekrar kullanıp uzun vadede bakımını sürdürebilirsiniz. Şirket içi araçlarla çalışarak, yeni araçlara geçişteki gecikme veya proje bloklarını önleyin.

Process Mining için yaygın üçüncü parti ETL araçları:

• CData: Dışa aktarımda çok başarılı, genellikle diğer araçlarla birlikte kullanılır.
• dbt: Büyük veri dönüşümleri için avantajlı, SQL tabanlı bir dönüşüm aracıdır.
• BigQuery: Google’ın yönettiği data warehouse çözümü; büyük veri setleri üzerinde hızlı SQL sorguları yapar.
• Snowflake: Bulut tabanlı ölçeklenebilir depolama ve hesaplama platformu; veri dönüşümü ve analiz için kullanılır.
• DataBricks: Data engineering, machine learning ve analiz için birleşik analitik platformu.
• Talend: Farklı veri kaynaklarını destekleyen görsel bir ETL aracı.
• Apache Nifi: Gerçek zamanlı işleme ve veri akışı otomasyonu için açık kaynak ETL aracı.

Process Mining için Uzmanlaşmış ETL Araçları

Process Mining’e özel ETL araçları, üçüncü parti ETL avantajlarını process mining özellikleri ve şablonlarıyla birleştirir.

Örnekler::::::::

• Evidant: Data Transform Refinery. Büyük hacimli data için process mining odaklı veri çıkarımı ve dönüşümü sunar.
• Konekti: Process veri modeli oluşturmayı hızlı ve doğru şekilde yapmanız için optimize edilmiştir.

Ana Notlar

ETL, süreç madenciliği projelerinin amacı değil, ancak genellikle gerekli bir adımdır. ETL sürecinizi gecikmeleri önlemek için ayarlayın:

• Kolayca erişilebilir verileri kullanın.
• Manuel yüklemelerle başlayın; uygun olduğunda otomasyon yapın.
• Mevcut araçları kullanın, SQL’i tercih edin.

En önemlisi, ihtiyacınız olan veriyle küçük başlayın ve kademeli olarak genişleyin. Tüm verileri baştan toplamaktan kaçının, çünkü bu projenizi rayından çıkarabilir.