Tải dữ liệu tăng dần

Tải dữ liệu tăng dần là gì?

Tải dữ liệu tăng dần, còn gọi là tải delta, cho phép bạn thêm các hàng mới vào datatable hiện có mà không thay thế dữ liệu ban đầu. Cách này hữu ích khi dữ liệu nhật ký sự kiện tăng theo thời gian và bạn muốn cập nhật phân tích process mining mà không phải tải lại toàn bộ tập dữ liệu.

Một số trường hợp thường gặp:

• Xuất dữ liệu hằng ngày hoặc hằng tuần: Thêm giao dịch, đơn hàng hoặc hồ sơ mới khi có dữ liệu.
• Theo dõi quy trình liên tục: Thường xuyên thêm dữ liệu mới để dashboard luôn cập nhật.
• Nhật ký sự kiện ngày càng lớn: Thêm dần sự kiện mới từ hệ thống ERP, công cụ CRM hoặc nguồn khác.

Yêu cầu

• Datatable phải có dữ liệu được tải lên ban đầu.
• Tệp delta phải có định dạng giống tệp tải lên ban đầu:
  • Tệp CSV cần tệp delta CSV
  • Tệp Parquet cần tệp delta Parquet
  • Tệp ORC cần tệp delta ORC
  • Tệp JSONL cần tệp delta JSONL
• Không hỗ trợ tải delta từ tệp Excel (XLSX/XLS/XLSB) và XES. Trước tiên, hãy chuyển đổi các tệp này sang CSV.
• Tên cột trong tệp delta nên khớp với tệp tải lên ban đầu.
• Có thể nén tệp delta bằng gzip (.gz), miễn là định dạng bên trong khớp với định dạng tệp tải lên ban đầu.

Tải dữ liệu tăng dần

Qua API

Dùng API ProcessMind để tải tệp delta theo cách tự động. Xem trang Tài liệu tham khảo API: Dữ liệu để biết chi tiết về các endpoint.

Các bước thực hiện:

1. Lấy URL tải lên được ký trước cho delta:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Tải tệp delta lên bằng URL được ký trước:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Sau khi tải lên xong, ProcessMind sẽ tự động xử lý delta và kết hợp với dữ liệu ban đầu. Bạn có thể thăm dò GET /datatables/{dataTableId} cho đến khi hasDataLoaded là true để biết quá trình xử lý đã hoàn tất.

Qua giao diện người dùng

Bạn cũng có thể bắt đầu tải dữ liệu tăng dần từ tab Chung của bộ dữ liệu trong ứng dụng ProcessMind:

1. Bật nút Nối thêm để chuyển vùng tải lên từ Thay thế dữ liệu sang Nối thêm dữ liệu.
2. Thả tệp mới vào vùng Nối thêm dữ liệu (hoặc nhấp vào đó để tìm và chọn tệp).

ProcessMind tải tệp lên dưới dạng delta rồi xử lý cùng với dữ liệu hiện có. Bạn phải chọn rõ thao tác tải delta. Hệ thống không tự nhận diện tệp delta khi bạn tải lên theo cách thông thường (thay thế dữ liệu).

Xem các phần đã tải lên

Sau khi tải lên một hoặc nhiều phần dữ liệu tăng dần, lịch sử tải lên của datatable sẽ có một mảng uploadParts theo dõi từng tệp:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Cách làm nên áp dụng

• Dùng tên cột nhất quán trong tất cả các tệp để tránh sai lệch khi ghép dữ liệu.
• Tải lên theo thứ tự thời gian nếu có thể, để lịch sử tải lên phản ánh đúng dòng thời gian của dữ liệu.
• Giữ kích thước tệp delta ở mức hợp lý: tải dữ liệu theo từng đợt vừa phải. Quá nhiều tệp nhỏ có thể làm chậm quá trình xử lý.
• Kiểm tra số hàng sau mỗi lần tải delta để xác nhận dữ liệu đã được tải đúng.

Khi cấu trúc dữ liệu không khớp

ProcessMind không bắt buộc cấu trúc dữ liệu giữa các phần tải lên phải khớp hoàn toàn. Điều này có nghĩa là:

• Cột thừa trong tệp delta sẽ bị bỏ qua khi xử lý. Hệ thống chỉ dùng các cột có trong cấu trúc dữ liệu của tệp tải lên ban đầu.
• Cột bị thiếu sẽ có giá trị null hoặc trống trong các hàng delta tương ứng.
• Tên cột khác nhau được xem là các cột hoàn toàn riêng biệt. Các hàng delta sẽ có giá trị null ở những cột được mong đợi.

Để có kết quả tốt nhất, hãy đảm bảo mọi tệp delta có cấu trúc cột giống với tệp tải lên ban đầu.