Artımlı veri yükleme

Artımlı veri yükleme nedir?

Artımlı veri yükleme (delta yükleme olarak da adlandırılır), orijinal verileri değiştirmeden mevcut bir veri tablosuna yeni satırlar eklemenizi sağlar. Olay günlüğü verileriniz zaman içinde büyüdüğünde ve tüm veri setini yeniden yüklemeden Process Mining analizini güncel tutmak istediğinizde bu yöntem kullanışlıdır.

Yaygın senaryolar şunlardır:

• Günlük veya haftalık veri dışa aktarımları: Yeni işlemleri, siparişleri veya vakaları kullanılabilir oldukça ekleyin.
• Sürekli süreç izleme: Yeni verileri düzenli olarak ekleyerek Dashboardlarınızı güncel tutun.
• Büyüyen olay günlükleri: ERP sistemlerinden, CRM araçlarından veya diğer kaynaklardan gelen yeni olayları artımlı olarak ekleyin.

Gereksinimler

• Veri tablosunda verilerin yüklendiği ilk yükleme zaten bulunmalıdır.
• Delta dosyası, orijinal yüklemeyle aynı biçimde olmalıdır:
  • CSV dosyaları için CSV delta dosyaları gerekir
  • Parquet dosyaları için Parquet delta dosyaları gerekir
  • ORC dosyaları için ORC delta dosyaları gerekir
  • JSONL dosyaları için JSONL delta dosyaları gerekir
• Excel (XLSX/XLS/XLSB) ve XES dosyaları delta yüklemelerinde desteklenmez: önce CSV biçimine dönüştürün.
• Delta dosyasındaki sütun adları orijinal yüklemeyle eşleşmelidir.
• Delta dosyaları gzip ile sıkıştırılabilir (.gz), ancak iç biçim orijinal yükleme biçimiyle eşleşmelidir.

Artımlı veri yükleme

API üzerinden

Delta dosyalarını program aracılığıyla yüklemek için ProcessMind API’sini kullanın. Uç noktaların tüm ayrıntıları için API Referansı: Veri sayfasına bakın.

İş akışı şöyledir:

1. Delta için ön imzalı yükleme URL’si alın:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presignedurl
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Ön imzalı URL’yi kullanarak delta dosyasını yükleyin:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Yükleme tamamlandıktan sonra ProcessMind deltayı otomatik olarak işler ve orijinal verilerle birleştirir. İşlemenin tamamlandığını görmek için GET /datatables/{dataTableId} durumunu, hasDataLoaded değeri true olana kadar sorgulayabilirsiniz.

Kullanıcı arayüzü üzerinden

Artımlı veri yüklemeyi ProcessMind uygulamasında veri setinin Genel sekmesinden de başlatabilirsiniz:

1. Yükleme alanını Verileri değiştir seçeneğinden Veri ekle seçeneğine geçirmek için Ekle anahtarını açın.
2. Yeni dosyayı Veri ekle alanına bırakın veya dosyaya göz atıp seçmek için tıklayın.

ProcessMind dosyayı delta olarak yükler ve mevcut verilerle birlikte işler. Delta yüklemeleri açıkça başlatılır; normal bir yüklemeden (değiştirme) otomatik olarak algılanmaz.

Yükleme parçalarını görüntüleme

Bir veya daha fazla artımlı yüklemeden sonra veri tablosunun yükleme geçmişinde her dosyayı izleyen bir uploadParts dizisi bulunur:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

En iyi uygulamalar

• Veri hizalama sorunlarını önlemek için tüm dosyalarda tutarlı sütun adları kullanın.
• Mümkün olduğunda kronolojik sırayla yükleyin; böylece yükleme geçmişi veri zaman çizelgesini yansıtır.
• Delta dosyalarını makul boyutlarda tutun: verileri orta büyüklükte gruplar halinde yükleyin; çok sayıda küçük dosya işlemeyi yavaşlatabilir.
• Verilerin doğru yüklendiğini doğrulamak için her deltadan sonra satır sayılarını izleyin.

Şema uyuşmazlığı davranışı

ProcessMind, yükleme parçaları arasında katı bir şema zorunluluğu getirmez. Bunun anlamı şudur:

• Delta dosyalarındaki ek sütunlar işleme sırasında yok sayılır: yalnızca orijinal yükleme şemasında bulunan sütunlar kullanılır.
• Eksik sütunlar, delta satırlarındaki ilgili alanlarda null veya boş değerlerle sonuçlanır.
• Farklı sütun adları tamamen farklı sütunlar olarak değerlendirilir: delta satırlarında beklenen sütunlar için null değerler bulunur.

En iyi sonuçlar için tüm delta dosyalarının orijinal yüklemeyle aynı sütun yapısına sahip olduğundan emin olun.