Artımlı veri yükleme

Artımlı veri yükleme nedir?

Artımlı veri yükleme (delta yükleme olarak da bilinir), özgün verileri değiştirmeden mevcut bir veri tablosuna yeni satırlar eklemenizi sağlar. Event Log verileriniz zaman içinde büyüyorsa ve veri setinin tamamını yeniden yüklemeden Process Mining analizinizi güncel tutmak istiyorsanız bu yöntem işinize yarar.

Yaygın kullanım senaryoları:

• Günlük veya haftalık veri dışa aktarımları: Yeni işlemleri, siparişleri veya vakaları kullanılabilir hâle geldikçe ekleyin.
• Sürekli süreç izleme: Düzenli olarak yeni veriler ekleyerek Dashboardlarınızı güncel tutun.
• Büyüyen Event Loglar: ERP sistemlerinden, CRM araçlarından veya diğer kaynaklardan gelen yeni olayları artımlı olarak ekleyin.

Gereksinimler

• Veri tablosuna başlangıç verileri yüklenmiş olmalıdır.
• Delta dosyası, özgün yüklemeyle aynı biçimde olmalıdır:
  • CSV dosyaları için CSV delta dosyaları gerekir
  • Parquet dosyaları için Parquet delta dosyaları gerekir
  • ORC dosyaları için ORC delta dosyaları gerekir
  • JSONL dosyaları için JSONL delta dosyaları gerekir
• Excel (XLSX/XLS/XLSB) ve XES dosyaları delta yüklemelerinde desteklenmez. Önce CSV biçimine dönüştürün.
• Delta dosyasındaki sütun adları özgün yüklemedekilerle eşleşmelidir.
• Delta dosyaları gzip ile sıkıştırılabilir (.gz); ancak dosyanın içindeki biçim özgün yükleme biçimiyle eşleşmelidir.

Artımlı veri yükleme

API üzerinden

Delta dosyalarını program aracılığıyla yüklemek için ProcessMind API’sini kullanın. Uç noktaların ayrıntıları için API referansı: Veri sayfasına bakın.

İş akışı şu şekildedir:

1. Delta dosyası için önceden imzalanmış yükleme URL’si alın:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. **Önceden imzalanmış URL’yi kullanarak **delta dosyasını yükleyin:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Yükleme tamamlandığında ProcessMind, delta verilerini otomatik olarak işler ve özgün verilerle birleştirir. İşlemenin ne zaman tamamlandığını öğrenmek için GET /datatables/{dataTableId} adresini sorgulayın; hasDataLoaded durumu true olduğunda işlem tamamlanmıştır.

Kullanıcı arayüzü üzerinden

Artımlı veri yüklemeyi ProcessMind uygulamasında veri setinin Genel sekmesinden de başlatabilirsiniz:

1. Yükleme alanını Veriyi değiştirin seçeneğinden Veri ekle seçeneğine geçirmek için Ekle anahtarını açın.
2. Yeni dosyayı Veri ekle alanına bırakın veya tıklayarak dosyaya göz atıp seçin.

ProcessMind dosyayı delta olarak yükler ve mevcut verilerle birlikte işler. Delta yüklemeleri açıkça başlatılmalıdır; normal bir yüklemenin (veriyi değiştirme) delta olduğu otomatik olarak algılanmaz.

Yükleme parçalarını görüntüleme

Bir veya daha fazla artımlı yüklemeden sonra veri tablosunun yükleme geçmişinde, her dosyayı izleyen bir uploadParts dizisi bulunur:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

En iyi uygulamalar

• Veri hizalama sorunlarını önlemek için tüm dosyalarda tutarlı sütun adları kullanın.
• Mümkün olduğunda dosyaları kronolojik sırayla yükleyin. Böylece yükleme geçmişi verilerin zaman çizelgesini yansıtır.
• Delta dosyalarını makul boyutlarda tutun: Verileri orta büyüklükte gruplar hâlinde yükleyin. Çok sayıda küçük dosya işlemeyi yavaşlatabilir.
• Verilerin doğru yüklendiğini doğrulamak için her delta yüklemesinden sonra satır sayılarını kontrol edin.

Şema uyuşmazlığında gerçekleşenler

ProcessMind, yükleme parçaları arasında katı bir şema uygulamaz. Bunun anlamı şudur:

• Delta dosyalarındaki ek sütunlar işleme sırasında yok sayılır. Yalnızca özgün yüklemenin şemasında bulunan sütunlar kullanılır.
• Eksik sütunların delta satırlarındaki değerleri null veya boş olur.
• Farklı sütun adları tamamen farklı sütunlar olarak değerlendirilir. Delta satırlarında beklenen sütunların değerleri null olur.

En iyi sonuçlar için tüm delta dosyalarının özgün yüklemeyle aynı sütun yapısına sahip olduğundan emin olun.