Các định dạng dữ liệu được hỗ trợ cho nhật ký sự kiện

Các định dạng tệp hỗ trợ tải dữ liệu lên

ProcessMind hỗ trợ nhiều định dạng tệp để tải nhật ký sự kiện lên. Bạn có thể tải các tệp này qua cả giao diện ứng dụng và API.

Định dạng văn bản

• .csv: Giá trị phân tách bằng dấu phẩy. Định dạng phổ biến, gọn nhẹ và được hầu hết hệ thống hỗ trợ xuất, như Excel và ERP. Hệ thống tự nhận diện dấu phân tách.
• .tsv: Giá trị phân tách bằng tab. Tương tự CSV nhưng dùng tab thay cho dấu phẩy, phù hợp khi dữ liệu có chứa dấu phẩy.
• .txt: Tệp văn bản thuần. Có thể dùng nếu dữ liệu được sắp xếp nhất quán và phân tách rõ ràng.
• .xes: Định dạng tiêu chuẩn cho nhật ký sự kiện trong các công cụ process mining. Phù hợp để theo dõi chi tiết hoạt động, timestamp và Case ID.

Định dạng Excel

• .xls: Định dạng bảng tính Excel phiên bản cũ. Được hỗ trợ nhưng có thể tải chậm hơn các định dạng mới.
• .xlsx: Định dạng Excel hiện đại. Được dùng rộng rãi và hỗ trợ đầy đủ, thường phù hợp với dữ liệu có cấu trúc.
• .xlsb: Sổ làm việc Excel dạng nhị phân. Tải nhanh hơn và xử lý bộ dữ liệu lớn tốt hơn .xlsx, nhưng không được hỗ trợ rộng rãi bằng.

Định dạng dữ liệu nhị phân và dạng cột

• .parquet: Định dạng Apache Parquet. Đây là định dạng lưu trữ dạng cột, tối ưu cho phân tích dữ liệu. Rất phù hợp với bộ dữ liệu lớn và nhanh hơn CSV đáng kể khi xử lý nhiều dữ liệu. Hỗ trợ tải dữ liệu tăng dần (delta).
• .orc: Định dạng Optimized Row Columnar (ORC). Đây là định dạng dạng cột hiệu quả khác, phổ biến trong hệ sinh thái Hadoop/Spark. Hỗ trợ tải dữ liệu tăng dần (delta).
• .jsonl / .ndjson: Định dạng JSON Lines, mỗi dòng là một đối tượng JSON riêng. Phù hợp để xuất dữ liệu dạng luồng từ API và hệ thống ghi nhật ký. Hỗ trợ tải dữ liệu tăng dần (delta).

Tệp nén

• .gz: Tệp nén bằng gzip. Có thể nén mọi định dạng nêu trên bằng gzip (ví dụ: data.csv.gz, data.parquet.gz). ProcessMind tự nhận diện định dạng bên trong và giải nén khi cần. Nén gzip có thể rút ngắn thời gian tải các tệp lớn.

Yêu cầu chung về cấu trúc tệp

Để chạy process mining trong ProcessMind, tệp bạn tải lên, dù ở định dạng Excel, văn bản hay XML, cần đáp ứng một số yêu cầu về cấu trúc. Nhờ đó, ứng dụng có thể đọc dữ liệu chính xác và phân tích đúng.

1. Hàng tiêu đề (Excel hoặc tệp văn bản)

• Tệp phải bắt đầu bằng một hàng tiêu đề ở dòng đầu tiên (ví dụ: ô A1 trong tệp Excel hoặc dòng 1 trong tệp CSV, TSV hoặc TXT). Hàng tiêu đề xác định tên các cột và cần cho biết rõ loại dữ liệu trong từng cột (ví dụ: “Mã trường hợp”, “Hoạt động”, “Dấu thời gian”).
• Với định dạng CSV, TSV và TXT, hệ thống sẽ tự động nhận diện dấu phân cách và dấu ngoặc kép. Nhờ đó, bạn không cần tự chỉ định các cài đặt này khi tải dữ liệu lên.
• Với định dạng Parquet và ORC, hệ thống đọc tên cột và kiểu dữ liệu trực tiếp từ lược đồ nhúng trong tệp, nên không cần hàng tiêu đề.
• Với định dạng JSONL/NDJSON, tên cột được lấy từ các khóa JSON ở dòng đầu tiên của tệp.

2. Các thuộc tính tối thiểu

Để dùng làm nhật ký sự kiện cho process mining, tệp của bạn cần có ít nhất các thuộc tính (cột) sau. Tên cột không nhất thiết phải trùng với các tên như Mã trường hợp hay Hoạt động, nhưng nội dung phải đúng với yêu cầu.

• ID trường hợp: cột này xác định duy nhất từng trường hợp của quy trình. Mọi hàng thuộc cùng một trường hợp phải có cùng ID trường hợp.
• Hoạt động: cột này mô tả hoạt động hoặc sự kiện cụ thể được ghi lại, chẳng hạn “Tạo đơn hàng” hoặc “Xử lý thanh toán”.
• Dấu thời gian: mỗi hoạt động phải có dấu thời gian ghi lại chính xác ngày hoặc giờ sự kiện diễn ra.
• Lưu ý: hệ thống sẽ tự động nhận diện định dạng dấu thời gian trong khả năng có thể. Các định dạng phổ biến như yyyy-MM-dd HH:mm:ss, MM/dd/yyyy và những định dạng khác sẽ được nhận diện tự động.
• Thuộc tính không bắt buộc: bạn có thể thêm các cột khác để phân tích chi tiết hơn, chẳng hạn:
• Tài nguyên: cho biết ai thực hiện hoạt động, chẳng hạn người dùng hoặc phòng ban.
• Chi phí: các khoản chi phí liên quan đến hoạt động.
• Dữ liệu tùy chỉnh khác: bạn có thể thêm các trường tùy chỉnh phù hợp với quy trình của mình, miễn là vẫn có đủ các cột bắt buộc.

Các cột cụ thể tùy thuộc vào quy trình bạn phân tích. Hướng dẫn cải tiến quy trình của chúng tôi mô tả lược đồ cần có cho từng quy trình, gồm các trường bắt buộc, hoạt động cần ghi nhận và mẫu dữ liệu để bạn điền.

3. Định dạng dữ liệu

• Đảm bảo dữ liệu được định dạng nhất quán trong tất cả các cột:
• Timestamp nên dùng định dạng tiêu chuẩn, dễ nhận diện (ví dụ: yyyy-MM-dd HH:mm:ss). Nếu định dạng ngày khác, ProcessMind sẽ cố gắng tự nhận diện.
• Không để hàng trống giữa các dòng dữ liệu vì có thể làm gián đoạn quá trình nhập.
• Đảm bảo dữ liệu số, chẳng hạn chi phí và thời lượng, được định dạng là số trong Excel hoặc đúng định dạng trong tệp văn bản (CSV, TSV, TXT).
• Với định dạng CSV, TSV và TXT, ProcessMind sẽ tự nhận diện dấu phân tách (dấu phẩy, tab, dấu chấm phẩy, v.v.) và tự xử lý văn bản nằm trong dấu ngoặc kép.

4. Chọn trang tính (chỉ áp dụng cho tệp Excel)

• ProcessMind tự xử lý dữ liệu trong trang tính đầu tiên của tệp Excel (XLS, XLSX hoặc XLSB), bất kể tên trang tính. Hãy đặt dữ liệu nhật ký sự kiện cần dùng trong trang tính đầu tiên. Các trang tính khác sẽ không được nhập.

5. Định dạng XES

Định dạng .xes (eXtensible Event Stream) là loại tệp tiêu chuẩn dùng cho nhật ký sự kiện trong process mining. Định dạng này lưu thông tin chi tiết về các trường hợp quy trình, chẳng hạn như ID trường hợp, hoạt động, dấu thời gian và các thuộc tính liên quan khác.

Định dạng này được nhiều công cụ process mining hỗ trợ và phù hợp để tái dựng chính xác cách quy trình diễn ra trong thực tế.

Xem thông số kỹ thuật và thông tin đầy đủ tại trang web chính thức về tiêu chuẩn XES.

6. Định dạng Parquet, ORC và JSONL

Parquet và ORC là các định dạng nhị phân dạng cột, được dùng rộng rãi trong quy trình xử lý dữ liệu (Apache Spark, AWS Glue, Databricks, v.v.). Các định dạng này có sẵn thông tin lược đồ, nên ProcessMind tự nhận diện tên cột và kiểu dữ liệu mà không cần cấu hình thủ công.

Tệp JSONL (JSON Lines, còn gọi là NDJSON) chứa một đối tượng JSON trên mỗi dòng. Mỗi đối tượng đại diện cho một sự kiện. Các khóa JSON trở thành tên cột. Định dạng này thường được dùng để xuất dữ liệu từ API, hệ thống ghi nhật ký hoặc nền tảng truyền dữ liệu dạng luồng.

Cả ba định dạng đều:

• Hỗ trợ tải lên qua giao diện người dùng và API ProcessMind
• Hỗ trợ tải dữ liệu tăng dần (delta)
• Có thể nén bằng gzip (.gz) để truyền nhanh hơn

7. Mẹo