Pemuatan data bertahap

Apa itu pemuatan data inkremental?

Pemuatan data inkremental (juga disebut pemuatan delta) memungkinkan Anda menambahkan baris baru ke datatable yang sudah ada tanpa mengganti data awal. Cara ini berguna saat data log peristiwa terus bertambah dan Anda ingin analisis process mining tetap mutakhir tanpa mengunggah ulang seluruh dataset.

Contoh penggunaan yang umum:

• Ekspor data harian atau mingguan: Tambahkan transaksi, pesanan, atau kasus baru saat tersedia.
• Pemantauan proses berkelanjutan: Perbarui dashboard secara berkala dengan menambahkan data terbaru.
• Log peristiwa yang terus bertambah: Tambahkan peristiwa baru secara bertahap dari sistem ERP, alat CRM, atau sumber lainnya.

Persyaratan

• Datatable harus sudah memiliki data dari unggahan awal.
• File delta harus menggunakan format yang sama dengan file yang pertama kali diunggah:
  • File CSV memerlukan file delta CSV
  • File Parquet memerlukan file delta Parquet
  • File ORC memerlukan file delta ORC
  • File JSONL memerlukan file delta JSONL
• File Excel (XLSX/XLS/XLSB) dan XES tidak didukung untuk unggahan delta. Konversikan file tersebut ke CSV terlebih dahulu.
• Nama kolom dalam file delta sebaiknya sama dengan nama kolom pada file yang pertama kali diunggah.
• File delta dapat dikompresi dengan gzip (.gz), selama format di dalamnya sama dengan format file yang pertama kali diunggah.

Mengunggah data inkremental

Melalui API

Gunakan API ProcessMind untuk mengunggah file delta secara terprogram. Lihat halaman Referensi API: Data untuk detail endpoint.

Langkah-langkahnya:

1. Dapatkan URL unggah delta yang telah ditandatangani:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Unggah file delta menggunakan URL yang telah ditandatangani:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Setelah unggahan selesai, ProcessMind akan memproses delta secara otomatis dan menggabungkannya dengan data awal. Anda dapat memeriksa GET /datatables/{dataTableId} hingga hasDataLoaded berstatus true untuk mengetahui kapan pemrosesan selesai.

Melalui UI

Pemuatan data inkremental juga dapat dimulai dari tab Umum pada kumpulan data di aplikasi ProcessMind:

1. Aktifkan tombol Tambahkan untuk mengubah area unggah dari Ganti data menjadi Tambahkan data.
2. Tarik file baru ke area Tambahkan data, atau klik area tersebut untuk mencari dan memilih file.

ProcessMind mengunggah file sebagai delta, lalu memprosesnya bersama data yang sudah ada. Unggahan delta harus dipilih secara eksplisit. Sistem tidak akan mengenalinya secara otomatis sebagai delta jika Anda melakukan unggahan biasa (replace).

Melihat bagian unggahan

Setelah satu atau beberapa unggahan inkremental, riwayat unggahan datatable akan menyertakan array uploadParts yang mencatat setiap file:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Praktik yang disarankan

• Gunakan nama kolom yang konsisten di semua file agar data tetap selaras.
• Unggah secara kronologis jika memungkinkan, agar riwayat unggahan mencerminkan urutan waktu data.
• Jaga ukuran file delta tetap wajar: unggah data dalam kelompok berukuran sedang. Terlalu banyak file kecil dapat memperlambat pemrosesan.
• Periksa jumlah baris setelah setiap delta untuk memastikan data dimuat dengan benar.

Jika skema tidak cocok

ProcessMind tidak menerapkan skema yang ketat untuk setiap bagian unggahan. Artinya:

• Kolom tambahan dalam file delta akan diabaikan saat pemrosesan. Hanya kolom yang ada dalam skema unggahan awal yang digunakan.
• Kolom yang tidak ada akan berisi nilai null/kosong pada baris delta untuk kolom tersebut.
• Nama kolom yang berbeda dianggap sebagai kolom yang berbeda. Baris delta akan berisi nilai null untuk kolom yang diharapkan.

Agar hasilnya optimal, pastikan semua file delta memiliki struktur kolom yang sama dengan file yang pertama kali diunggah.