Process Mining için ETL araçları

Process Mining için ETL

Process mining birden fazla sistemden gelen verilere dayanır. Bu nedenle ETL önemli bir adımdır. ETL, Extract, Transform, Load ifadelerinin kısaltmasıdır. Verileri kaynak sistemlerden çıkarır, analiz için dönüştürür ve bir veri ambarına veya process mining platformuna yükler. Bu Workflow, güvenilir süreç içgörüleri için verileri toplamanıza, temizlemenize, düzenlemenize ve hazırlamanıza yardımcı olur.

ETL’yi process mining için etkili biçimde nasıl kullanacağınızı öğrenin.

Genel yaklaşım

En önemli kural basit: veri çıkarmaya hemen başlamayın. Bu işlem zaman ve maliyet gerektirir.

Önce projenizin hedeflerini belirleyin ve analiz etmek istediğiniz süreçleri saptayın. Bir süreç seçin ve BPMN modeliyle hızlı bir taslak oluşturun. Proje hedeflerinize göre modele veri ekleyin. Excel dosyaları, kolayca dışa aktarılabilen veriler veya başka analizlerde zaten kullanılan veriler gibi hazırda bulunan verilerle başlayın. Ardından veri eksiklerini belirleyin ve hedeflerinize ulaşmak için yalnızca ihtiyacınız olan verileri çıkarın. Her ihtimale karşı her şeyi toplama isteğine direnin. Fazla veri ilerlemenizi yavaşlatır. Sürekli iyileştirme döngünüzün hızı çoğu zaman uygulamadan çok veri toplamaya bağlıdır.

Basit dosya yüklemeleriyle başlayın. Veri sık değişiyorsa ve sürekli analiz yapmanız gerekiyorsa veri yüklemeyi otomatikleştirin. Bunun dışında otomasyon gerekli olmayabilir. Çoğu durumda statik analiz daha istikrarlı sonuç verir. Hangi yaklaşımı seçerseniz seçin, bunun sizi yavaşlatmasına izin vermeyin. Verileri üç ayda bir birkaç dakika içinde yüklemek, süreci otomatikleştirmek için haftalar harcayıp sonunda verilerin hatalı veya iş senaryonuz için yetersiz olduğunu görmekten daha iyidir.

Hangi verilere ihtiyacınız var?

Process mining için üç veri noktası gerekir: vaka kimliği, zaman damgası ve aktivite. Maliyet, kullanıcı, ekip veya CO2 ayak izi gibi ek veriler analiziniz için bağlam sağlayabilir. Grafikler için ek boyutlar, metrikler için de ilave ölçüler ekleyebilirsiniz.

Process mining verilerini elde etmek genellikle kolaydır çünkü gerekli alanlar yaygındır. Gerekli tüm verileri tek bir veri setinde birleştirmek ise daha zor olabilir. Ayrı veri kaynaklarını tek bir dosyada birleştirmek ve standartlaştırmak için kapsamlı dönüşümler yapmanız gerekebilir.

Her şeye aynı anda ihtiyacınız yok. Elinizdekiyle başlayın.

Hangi veri formatına ihtiyacınız var?

Gelişmiş veri formatları bulunsa da çoğu araç hâlâ basit metin dosyalarına dayanır. Virgülle ayrılmış CSV veya sekmeyle ayrılmış TSV/TXT dosyalarını kullanın. Çoğu araç bunları işleyemediği için sabit genişlikli metin dosyalarından kaçının.

Her dosya bir başlık satırıyla başlamalıdır. Bunu, başlık alanlarıyla ve bunların sırasıyla eşleşen veri satırları izlemelidir.

İngilizce dışındaki karakterlere ihtiyacınız varsa UTF-8 kodlamasını kullanın. Alanlarda ayırıcı veya satır sonu karakterleri bulunmadığından emin olun. Alanları tırnak içine alabilirsiniz, ancak alanların içinde tırnak kullanmaktan kaçının. Gerekirse işleme sürecini kolaylaştırmak için iç içe tırnakları başka bir karakterle değiştirin.

Hazırda bulunan veriler

Kolayca erişebildiğiniz verileri listeleyerek başlayın. Şu kaynakları değerlendirin:

• Ham verileri içeren aylık veya haftalık Excel raporları. Gerekirse verileri yeniden biçimlendirmek için Excel’i kullanın.
• Başka araçlardan alınan process mining verileri. Bunlar çoğu zaman ek bir ön işleme gerektirmez.
• İK, finans veya ITSM sistemleri gibi sistemlerden alınan standart dışa aktarımlar. Verileri process mining aracınızın desteklediği bir formatta dışa aktarın.
• İhtiyacınız olan verileri raporlayan analitik araçlardan alınan dışa aktarımlar. Doğru formatı oluşturmak için pivot tabloları ve dışa aktarma özelliklerini kullanın.
• Temizlenmiş ve birleştirilmiş verileri içeren veri ambarları. Verileri seçmek ve CSV olarak dışa aktarmak için ambar araçlarını kullanın.

Süreç sistemleri

Veriler genellikle SAP, Workday, Salesforce veya ServiceNow gibi sistemlerde saklanır. Önce basit bir dışa aktarımın ihtiyaçlarınızı karşılayıp karşılamadığını kontrol edin. Değer üretmenin genellikle en hızlı yolu budur. Yeterli değilse verileri process mining aracınıza çıkarmak, dönüştürmek ve yüklemek için ETL araçlarını kullanın.

Kuruluşunuza bağlı olarak BT, sistem sahipleri veya veri ambarı ekiplerini sürece dahil etmeniz gerekebilir. Bu durum veri toplama sürecini yavaşlatabilir, ancak bu ekipleri devre dışı bırakmayın. Süreci hızlandırabilecek prosedürlere ve deneyime sahiptirler. Onlarla çevik bir döngü içinde çalışın. Kolayca erişilebilen verilerle başlayın ve gecikmelere yol açabilecek her şeyi tek seferde istemekten kaçının.

İlk olarak verileri metin biçiminde isteyin. Daha sonra süreci process mining aracınızın API veya yerleşik ETL araçlarıyla otomatikleştirin.

Process Mining araçlarındaki yerleşik ETL araçları

Genellikle process mining sağlayıcılarının yerleşik ETL araçlarını kullanmanızı önermiyoruz. Kullanışlı görünebilirler, ancak önemli sınırlamaları vardır:

• Özel ETL araçlarına kıyasla daha düşük kalite.
• Eğitim ihtiyacını artıran ve uzmanlara erişimi azaltan SQL gibi sektör standartları yerine özel teknoloji kullanımı.
• Araç değişikliğini zorlaştıran sağlayıcı bağımlılığı.
• Diğer analitik veya yapay zeka projelerinde yeniden kullanımı sınırlayan veri siloları.

Üçüncü taraf ETL araçları

Birçok üçüncü taraf ETL aracı process mining çalışmalarını destekleyebilir. Process mining belirli verilere ihtiyaç duysa da temel işlemler standarttır.

ETL mantığını yeniden kullanabilmeniz ve uzun vadede sürdürebilmeniz için SQL tabanlı araçları tercih edin. Yeni teknolojiye geçişin neden olabileceği gecikmeleri veya proje engellerini önlemek için kurumunuzda zaten kullandığınız araçlardan yararlanın.

Process mining için yaygın kullanılan üçüncü taraf ETL araçları şunlardır:

• CData: Veri çıkarma için oldukça uygundur ve genellikle diğer araçlarla birlikte kullanılır.
• dbt: Büyük dönüşümleri yönetmeye yönelik özelliklere sahip SQL tabanlı bir dönüştürme aracıdır.
• BigQuery: Büyük veri setlerinde hızlı SQL sorguları çalıştırmak üzere tasarlanmış, Google’ın yönetilen veri ambarıdır.
• Snowflake: Dönüştürme ve analiz için kullanılan, ölçeklenebilir depolama ve işlem kapasitesi sunan bulut tabanlı bir platformdur.
• DataBricks: Veri mühendisliği, makine öğrenimi ve analitiği bir araya getiren birleşik bir analitik platformudur.
• Talend: Çeşitli veri kaynaklarını destekleyen grafik tabanlı bir ETL aracıdır.
• Apache Nifi: Veri akışlarını otomatikleştiren ve verileri gerçek zamanlı işleyen açık kaynaklı bir ETL aracıdır.

Process Mining için özel ETL araçları

Process mining için özel ETL araçları, üçüncü taraf ETL araçlarının avantajlarını process mining özellikleri ve Templatelerle birleştirir.

Örnekler:

• Evidant: Data Transform Refinery. Büyük ölçekte process mining verilerini çıkarmaya ve dönüştürmeye odaklanır.
• Konekti: Doğru süreç veri modellerini hızlıca oluşturmak üzere tasarlanmıştır.

Veriler yüklendikten sonra yönetim

Veri yönetiminin yalnızca yarısı verileri çıkarmaktan ibarettir. Sonrasında veri setlerini nasıl düzenlediğiniz, analizin güvenilirliğini koruyup korumayacağını belirler.

• Veri setlerini içeriklerine göre adlandırın. Q1_2025_Sales_Data veya Customer_Support_Logs, export_final_v3 ifadesinden daha iyidir. İlişkili veri setlerini gruplamak için renk kullanın ve belirli bir rolde kullanılan veri setine sürece özel bir ad verin.
• İşe uygun biçimi seçin. Elle yüklenen küçük ve orta boyutlu dosyalar için CSV veya Excel yeterlidir, büyük veri setleri ve otomatik işlem hatları için Parquet veya ORC daha iyi sonuç verir.
• Analizden önce önizleyin. Haritalamadan önce yapıyı, sütun türlerini ve birkaç satırı kontrol edin, ayrıca sürecin ihtiyaç duyduğu sütunları doğrulayın: vaka kimliği, etkinlik ve zaman damgası (process mining alanları).
• Haritalamayı bilinçli yapın. İlk geçişi otomatik haritalamaya bırakın, ardından eşlenmemiş etkinlikleri inceleyin, ilginç süreç adımları genellikle burada gizlidir. Gerçekte var olan ancak verilerde iz bırakmayan adımları veri akışı olarak işaretleyebilirsiniz. Böylece sayıları çarpıtmadan görünür kalırlar.
• Verileri değiştirmek yerine büyütün. Düzenli dışa aktarımlarda dosyanın tamamını yeniden yüklemek yerine yeni satırları eklemek için artımlı yükleme kullanın.
• Birleştirme veya ayırma kararını amaca göre verin. Ortak özniteliklere sahip veri setleri simülasyon ve analiz için tek görünümde birleştirilebilir, büyük ölçüde farklı veri setlerini ise filtreleme için kendi öznitelikleriyle ayrı tutmak daha iyidir.
• Filtreleri ve metrikleri düzenli yönetin. Mart ayında yararlı olan bir filtre, haziran ayında Dashboardu karıştırabilir. Yanıtladığı soru artık geçerli değilse filtreyi kaldırın ve yalnızca gerçekten okunan metrikleri gösterin.
• Erişimi yönetin, ardından arşivleyin. Veri setlerine erişimi ihtiyacı olan kişilere verin ve güncel olmayan veri setlerini etkin sürecin içinde bırakmak yerine arşivleyin.

Özet

ETL, process mining projesinin amacı değildir, ancak çoğu zaman gereklidir. Gecikmeleri önlemek için ETL sürecinizi şu şekilde kurun:

• Kolayca erişilebilen verileri kullanın.
• Manuel yüklemelerle başlayın ve uygun olduğunda otomatikleştirin.
• Mevcut araçları, özellikle SQL’i tercih ederek kullanın.

En önemlisi, ihtiyacınız olan verilerle küçük başlayın ve kapsamı kademeli olarak genişletin. Baştan her şeyi toplamaya çalışmak projenizin yönünü kaybetmesine neden olabilir.