Process Mining için gereken ETL araçları
Process Mining için ETL gerektiğinde, çıkarılan veriler neleri içermeli? ProcessMind mevcut veri hattınızın ürettiği çıktıları neden yükleyebilir?
Process Mining için ETL gerekir mi?
ETL araçları, kaynak sistemlerden veri çıkarır, analizde kullanılabilecek biçime dönüştürür ve yükler. Bu yazıda, bir Process Mining projesinin hangi ETL işlemlerine gerçekten ihtiyaç duyduğunu ve hangilerinin gereksiz olduğunu ele alıyoruz. Bu yazı, veri hattı satın alma rehberi değil. Tek bir sistem kayıtları dışa aktarabiliyorsa ve dosyada vaka kimliği, etkinlik ve zaman damgası bulunuyorsa, ilk analiz için çoğu zaman veri hattı kurmadan dışa aktarılan dosyayı olduğu gibi yükleyebilirsiniz.
Yanıt; sürece, sürecin arkasındaki sistemlere ve analizin ne sıklıkla yenilenmesi gerektiğine bağlıdır. Bir soruyu yanıtlayabilecek en küçük veri kümesiyle başlayın. İlk analiz ek hazırlık ve otomasyon gerektiğini gösterirse bunları ekleyin.
Üç durumda ETL çalışması yapmak gerekir:
- Süreç birkaç sistemi kapsar. Tek bir vakayı baştan sona izleyebilmek için kayıtları birleştirmeniz ve kimlikleri eşleştirmeniz gerekir.
- Kaynak veriler mevcut biçimiyle okunamaz. Analizde kullanılmadan önce etkinlik adlarının, zaman damgalarının veya vaka kimliklerinin standartlaştırılması gerekir.
- Dışa aktarma işleminin tekrarlanması gerekir. Veriler her gün değişiyorsa ve analizin de güncel kalması gerekiyorsa elle dışa aktarma yapmak pratik olmaktan çıkar.
Bunlar verileri hazırlamak için nedenlerdir, ilk soruyu yanıtlamadan önce veri hattı kurmak için değil. Erişebildiğiniz verileri yükleyin, eksikleri görün ve sonraki adımlara buna göre karar verin.
Bir süre ETL’nin ürünün içinde olması gerektiğini düşündük. Sonra müşterilerimizin hâlihazırda neler kullandığına baktık. Veri ambarı dalgası, aralarında veri martları ve veri göllerinin de bulunduğu farklı adlarla yaklaşık yirmi yıl sürdü. Sonuç olarak bugün çoğu şirkette kullanılabilir veriler zaten bulunuyor. Bu yüzden kendi veri hattımızı geliştirmeyi bıraktık. Kullandığınız sistemlerden bir dışa aktarma dosyası getirin veya ekibinizin zaten yönettiği veri hattını API’mize bağlayın; elinizdeki verilerle başlayın.
Aşağıdaki durumlarda ayrı bir veri hattı kurmadan da ilerleyebilirsiniz:
- Süreç çoğunlukla tek bir sistemde kaydedilir.
- İlgili kayıtlar dışa aktarılabilir.
- Dışa aktarılan dosyada vaka kimliği, etkinlik ve zaman damgası bulunur.
- Dosya elle hazırlanabilecek kadar küçüktür.
- Verilerin sorunuza yanıt verip vermediğini henüz test ediyorsunuz.
Sütun adlarını değiştirmek, bariz tutarsızlıkları düzeltmek ve ihtiyacınız olmayan alanları kaldırmak için elektronik tablo kullanabilirsiniz. Elle hazırlık kalıcı olmak zorunda değildir. Analiz fayda sağladığını gösterip verilerin sık sık yenilenmesi gerektiğinde, tekrarladığınız adımları otomatikleştirin.
Dışa aktarılan verilerde neler bulunmalı?
Process Mining olay günlüğünde üç alan ve her olay için bir satır bulunmalıdır.
| Alan | Temsil ettiği bilgi | Kontrol edilmesi gerekenler |
|---|---|---|
| Vaka kimliği | Sipariş veya hizmet talebi gibi süreç örneği | Aynı örneğe ait tüm olaylar aynı vaka kimliğiyle ilişkilendirilmelidir |
| Etkinlik | Süreçte gerçekleşen bir adım | Gerçek adımları birbirinden ayıran adlar tutarlı kullanılmalıdır |
| Zaman damgası | Adımın gerçekleştiği zaman | Gerçek bir tarih ve saat olmalı; birleştirilen kaynaklarda aynı saat dilimi kullanılmalıdır |
Maliyet, kullanıcı, ekip, müşteri segmenti veya CO2 ayak izi gibi öznitelikler isteğe bağlıdır. Ancak süreç görünümü ile analizi birbirinden ayıran da bunlardır: tuttuğunuz her öznitelik sonradan filtre, ayrım veya metrik olarak kullanılabilir. Veri seti öznitelikleri referansında her alanın ne işe yaradığını bulabilirsiniz.
Bir alan kaynakta bulunsa bile kullanılamaz durumda olabilir. Sistemler arasında değişen bir vaka kimliği olayları birbirine bağlamaz. Tutarsız etkinlik adları, gerçekte tek bir adım olan işi üç farklı adıma dönüştürür. Metin olarak saklanan bir zaman damgası olayların sırasını bozabilir. Eşleştirme yapmadan önce dışa aktarılan verileri inceleyin ve önce gerekli üç alanı kontrol edin. Günlükte nelerin bulunması gerektiğine dair genel bilgi için Process Mining için gerekenleri inceleyin.
En yalın haliyle bir olay günlüğü sorgusu
Kaynakta her etkinlik için zaten bir satır bulunuyorsa sorgu, alanları seçmekten ibarettir. Bu örnekte process_events adlı tabloda vaka, etkinlik ve olay zamanı bulunduğu varsayılıyor:
SELECT
case_id AS case_id,
activity_name AS activity,
event_time AS timestamp
FROM process_events
WHERE case_id IS NOT NULL
AND activity_name IS NOT NULL
AND event_time IS NOT NULL
ORDER BY case_id, event_time;Sorgu üç alanı adlandırır, kullanılamayacak satırları çıkarır ve her vakanın olaylarını sıralar. Tablo ve sütun adlarını kaynağınıza göre uyarlayın, ardından yüklemeden önce birkaç vakayı örnek olarak kontrol edin. Her vakada beklediğiniz olaylar, işi yapan kişilerin tanıyacağı bir sırayla yer almalıdır.
Hangi dönüştürme adımları önemlidir?
Dönüştürme, analizin sonuçlarını bozabilecek sorunları gidermelidir. Dört adım çoğu ihtiyacı karşılar.
-
Olayları standartlaştırın
Kaynakta süreç adımları ayrı sütunlarda yer alsa bile her etkinlik gerçekleşmesini vaka kimliği ve zaman damgasıyla birlikte ayrı bir satıra koyun. -
Zaman damgalarını kullanılabilir hale getirin
Değerlerin gerçek tarih ve saat olduğunu, yerel saat mi yoksa UTC mi kullanıldığını kontrol edin. Birleştirdiğiniz kaynakların saat dilimlerini eşleştirin; aksi takdirde olay sırası yanlış görünür. -
Etkinlik adlarını standartlaştırın
Her gerçek adım için tek dilde ve tek yazımla bir ad kullanın. Listeyi kısaltmak uğruna yalnızca benzer görünen adımları birleştirmeyin. -
Kaynakları yalnızca gerektiğinde birleştirin
Kayıtları birbirine bağlayan anahtarı bulun ve eşleştiğini doğrulayın. Birleştirme işlemi olayları çoğaltır veya vakaları silerse süreç görünümü değişir. Bu nedenle işlem öncesi ve sonrası kayıt sayılarını karşılaştırın.
Dışa aktarılan dosyada her olay için zaten bir satır ve gerekli üç alan bulunuyorsa dönüştürmeniz gereken bir şey yoktur. Bu normal bir sonuçtur, kestirme yol değildir. Process Mining olay günlüğünün nasıl oluşturulacağı başlıklı rehberde aynı konular Excel ve SQL örnekleriyle ele alınıyor.
Event Log nereye yüklenmeli?
Hazırladığınız verileri analiz edeceğiniz platforma yükleyin. İlk inceleme için tek bir dosya yeterlidir: dosyayı hazırlayın, yükleyin, süreç görünümünü inceleyin ve verilerin neleri gösterebildiğini gördükten sonra veri çıkarımını iyileştirin. Sırf Process Mining için yeni bir depolama katmanı kurmayın. Ekibiniz zaten bir veri ambarı veya veri gölü kullanıyorsa verileri orada tutun ve bu ortamın ürettiği çıktıları yükleyin.
Ayrıntılar için desteklenen veri biçimleri sayfasına bakın. Kimse dosyaları elle yüklemek istemediğinde aynı biçimler, zamanlanmış bir görevle veri API’si üzerinden de gönderilebilir.
Hangi yolu seçerseniz seçin, veriler analiz yaptığınız yere yüklenmelidir. Kimsenin takip etmediği bir klasörde duran dosya, veri stratejisi değildir. Birinin eşleyip incelediği Veri Seti ise öyledir.
Process Mining için hangi ETL araçları uygun?
Her projeye uyan tek bir ETL araçları listesi yoktur. Seçiminizi verilerin nerede bulunduğuna, ekibinizin hâlihazırda hangi araçları kullandığına ve Event Logun ne kadar hazırlık gerektirdiğine göre yapın. Yapılacak iş, temelde standart veri mühendisliğidir. Process Mining’e özgü tek gereklilik, çıktıda vaka kimliği, etkinlik ve zaman damgası alanlarının bulunmasıdır.
| Yaklaşım | Ne zaman kullanılır? | Dikkat edilmesi gerekenler |
|---|---|---|
| Dışa aktarıp elle hazırlama | Küçük ve değişmeyen bir Veri Setiyle tek bir süreci test ediyorsanız | En hızlı başlangıçtır, ancak her yenileme elle yapılır |
| Ekibinizin hâlihazırda kullandığı araçlar | SQL, dbt, veri ambarı veya veri gölü zaten kullanılıyorsa | Mevcut beceri ve altyapıdan yararlanır; mantığı Process Mining dışında da yeniden kullanabilirsiniz |
| Üçüncü taraf ETL aracı | Verilerin birden fazla sistemden tekrar tekrar alınması gerekiyorsa | Kurulması ve bakımı gereken bileşen sayısı artar |
| Process Mining platformundaki yerleşik ETL | Platform ihtiyacınız olan dönüşümleri karşılıyorsa | Kullanışlıdır, ancak mantığın başka ortamlara ne kadar taşınabildiğini ve verilerin başka yerlerde yeniden kullanılıp kullanılamadığını kontrol edin |
Process Mining projelerinde sıkça karşılaşılan araçlardan bazıları şunlardır: veri çıkarma ve SQL dönüşümleri için CData ve dbt; veri ambarı tarafında BigQuery, Snowflake ve Databricks; sistemler arasında veri taşımak gerektiğinde ise Talend, Apache NiFi ve Airbyte. Açık kaynak araçlar da iyi bir seçenektir. NiFi ve Airbyte genellikle başlangıç noktası olarak kullanılır. Bazı sağlayıcılar, yaygın sistemler için şablonlar içeren Process Mining odaklı ETL araçları da sunar. Evidant ve Konekti bunlara örnektir.
Bunlar yalnızca örnektir, birer tavsiye değildir ve hiçbir şirketle ortaklığımız yoktur. Proje bittikten sonra da ekibinizin bakımını yapabileceği araçları ve biçimleri tercih edin. Mümkün olduğunda dönüşüm mantığını Process Mining ürününün dışında tutun. Yerleşik ETL seçeneğini dikkatle değerlendirin: platformu kullanmaya devam ettiğiniz sürece pratiktir, ancak veri hazırlığını sonraki analiz veya yapay zekâ projelerinde yeniden kullanmayı zorlaştırabilir.
Veriler yüklendikten sonra nasıl yönetilir?
Veri çıkarma işin yalnızca yarısıdır. Veri Setlerini sonrasında nasıl yönettiğiniz, analizin üç ay sonra da geçerliliğini koruyup korumayacağını belirler.
- Veri Setlerine içeriklerini yansıtan adlar verin.
Q1_2025_Sales_DataveyaCustomer_Support_Logs,export_final_v3ifadesinden daha açıklayıcıdır. - İşinize uygun biçimi seçin. Elle yüklenen küçük dosyalar için CSV veya Excel yeterlidir. Büyük Veri Setlerinde ve veri hattının ürettiği çıktılarda Parquet ya da ORC daha uygundur.
- Eşleme yapmadan önce önizleyin. Yapıyı, sütun türlerini ve birkaç satırı kontrol edin. Vaka kimliği, etkinlik ve zaman damgası alanlarının Veri Seti yapılandırmanızda doğru tanımlandığını doğrulayın.
- Etkinlik eşlemesini kontrol edin. İlk eşlemeyi otomatik eşlemeye bırakın, ardından eşlenmemiş etkinlikleri inceleyin. Gerçekleştiği hâlde veride iz bırakmayan adımları veri akışı olarak işaretleyebilirsiniz. Böylece sayıları değiştirmeden görünür kalırlar.
- Yeniden oluşturmak yerine yenileyin. Düzenli dışa aktarımlarda, analizin gerektirdiği sıklıkta, günlük veya haftalık olarak, Veri Setini yeni dosyayla değiştirin ve aynı eşlemeyi koruyun.
- Verilerin neleri kapsamadığını not edin. Eksik dönemleri, sistemleri ve adımları analiz notlarına ekleyin. Bunlar, sonunda hangi sonuçlara varabileceğinizi belirler.
- Erişimi yönetin, ardından arşivleyin. Veri Setine yalnızca ihtiyacı olan kişilerin erişmesini sağlayın ve tamamlanan projelerin artık kullanmadığı Veri Setlerini arşivleyin.
Özet
ETL, Process Mining projesinin amacı değil, bir aracıdır. İlk analizi geciktirmeyecek şekilde kurun:
- Bu hafta erişebileceğiniz verilerle başlayın.
- Diğer alanları çıkarsanız bile gerekli üç alanı koruyun.
- Önce dışa aktarılan dosyayı yükleyin, otomatik yüklemeyi ise analiz bunu gerektirdiğinde kurun.
- Ekibinizin hâlihazırda bakımını yaptığı araçları ve biçimleri kullanın.
Projeler, veri hattı fazla basit olduğu için değil, yanıtlaması gereken soru belirlenmeden önce kurulduğu için daha sık başarısız olur.
Where to Go From Here
Elinizde bir dışa aktarım ya da bunu oluşturabilecek bir veri hattı var. Şimdi veriyi yükleyip bu çıktının sorunuza yanıt verip vermediğine bakın.
