Khắc phục sự cố dữ liệu

Khắc phục sự cố dữ liệu

Vấn đề dữ liệu thường biểu hiện qua những dấu hiệu cụ thể: trường hợp bị tách rời, sự kiện sai thứ tự, thiếu bước hoặc số liệu bất thường. Trang này giúp bạn lần từ dấu hiệu đến nguyên nhân, rồi tìm cách khắc phục. Nếu có cài đặt trong ProcessMind xử lý được, bạn có thể sửa ngay tại đó. Nếu không, hãy sửa tệp dữ liệu trích xuất.

Để xem toàn bộ quy trình chuẩn bị dữ liệu, từ tiêu chí dữ liệu tốt đến cách chuẩn bị, hãy xem Làm sạch và chuẩn bị dữ liệu. Để biết nền tảng kiểm tra dữ liệu của bạn như thế nào, hãy xem Chất lượng dữ liệu.

Kiểm tra ban đầu

Trước khi kiểm tra tệp nguồn, hãy xem thông tin ProcessMind đã cung cấp:

• Danh sách màu đỏ phía trên các bảng. Trong thẻ Chung của bộ dữ liệu, danh sách màu đỏ nêu rõ vấn đề đang chặn bạn: thiếu ID trường hợp, Hoạt động hoặc Thời gian kết thúc; hoạt động không có dữ liệu; thuộc tính không có giá trị; hoặc tệp tải lên lại không khớp với loại quy trình đã chọn khi tải tệp. Hãy kiểm tra danh sách này trước.
• Huy hiệu chất lượng mô hình và bảng thông tin. Huy hiệu hiển thị điểm sức khỏe quy trình dưới dạng phần trăm; bảng thông tin cho biết độ mới của dữ liệu, mức độ bao phủ thuộc tính và kết quả phân tích hoạt động.
• Đề xuất dữ liệu bằng AI. Công cụ quét bộ dữ liệu, liệt kê vấn đề phát hiện được và đề xuất ánh xạ cũng như cách khắc phục.
• Thuộc tính bộ dữ liệu. Đặt tên hiển thị, kiểu dữ liệu và định dạng dấu thời gian, hoặc ẩn một cột mà không cần xuất lại dữ liệu.

Dấu hiệu trên sơ đồ quy trình

Một trường hợp bị tách thành nhiều trường hợp

Bạn thấy: một trường hợp quy trình xuất hiện thành nhiều trường hợp ngắn, mỗi trường hợp chỉ có một hoặc hai bước, khiến sơ đồ chỉ còn một hàng hoạt động.

Lý do: cột được ánh xạ thành ID trường hợp xác định một đối tượng nhỏ hơn phiên bản quy trình, chẳng hạn một dòng hàng, số hóa đơn hoặc số tài liệu trong một hệ thống.

Cách khắc phục: ánh xạ cột xác định toàn bộ trường hợp, chẳng hạn đơn hàng, phiếu yêu cầu hoặc hồ sơ bồi thường. Nếu không có cột nào làm được việc này, bạn cần hợp nhất mã định danh ở bước xử lý trước đó. Dùng SQL hoặc tác vụ ETL để nối các mã, sao cho mọi sự kiện trong cùng một trường hợp có cùng Case ID, rồi tải dữ liệu lên lại. Quy ước đặt tên theo từng hệ thống được mô tả trong Tìm dữ liệu ở đâu.

Sự kiện không đúng thứ tự

Bạn thấy: hoạt động xảy ra sau lại xuất hiện trước hoạt động xảy ra trước, chẳng hạn hóa đơn có ngày trước ngày đặt hàng.

Nguyên nhân: thường có ba khả năng. Dấu thời gian được đọc sai định dạng (giá trị 03/04/2025 bị hiểu là ngày 4 tháng 3 thay vì ngày 3 tháng 4). Sự kiện từ các hệ thống ở múi giờ khác nhau được gộp mà không chuyển đổi. Hoặc bạn đã ánh xạ nhầm cột thời gian.

Cách khắc phục: kiểm tra định dạng trong thuộc tính tập dữ liệu và xác nhận kiểu dữ liệu là Timestamp, không phải văn bản. Chuyển dữ liệu từ mọi nguồn về cùng một múi giờ trước khi gộp tệp. Sắp xếp từng trường hợp theo dấu thời gian và kiểm tra thủ công một vài trường hợp từ đầu đến cuối.

Thiếu bước

Bạn thấy: sơ đồ bỏ qua một bước chắc chắn đã diễn ra.

Vì sao: bước này không để lại dấu vết trong dữ liệu, chẳng hạn như phê duyệt qua điện thoại hoặc ký trên giấy; hoạt động chưa được ánh xạ, hoặc bộ lọc đã ẩn hoạt động đó.

Cách khắc phục: để các bước có thật nhưng không được ghi nhận vẫn hiển thị, hãy đánh dấu hoạt động là bước luồng dữ liệu đi qua, rồi ánh xạ các hoạt động còn lại bằng Ánh xạ và bỏ ánh xạ hoạt động. Hoạt động chưa ánh xạ sẽ hiển thị mờ, với các kết nối nét đứt. Sau đó, kiểm tra bộ lọc nào đang bật.

Các trường hợp không bao giờ kết thúc

Bạn thấy: nhiều trường hợp dừng lại mà không đến sự kiện kết thúc.

Nguyên nhân: dữ liệu xuất bị cắt tại một ngày trong khi các trường hợp vẫn đang chạy, mô hình không có sự kiện kết thúc hoặc hoạt động kết thúc không nằm trong tập dữ liệu.

Cách khắc phục: thêm sự kiện kết thúc thực tế vào mô hình, hoặc chấp nhận các trường hợp đang mở và không đưa chúng vào phân tích thời gian. Chỉ số thời gian chỉ tính các trường hợp đã đóng. Trường hợp chưa hoàn tất không phải là lỗi dữ liệu.

Số lượng có vẻ cao bất thường

Bạn thấy: một hoạt động được thực hiện nhiều lần đáng ngờ, hoặc số trường hợp cao hơn số liệu báo cáo của doanh nghiệp.

Vì sao: có các hàng trùng lặp, cùng một sự kiện được ghi hai lần do tích hợp hoặc trích xuất lặp lại.

Cách khắc phục: loại bỏ bản ghi trùng dựa trên ID trường hợp, hoạt động và dấu thời gian trước khi tải lên. quy trình chuẩn bị giải thích những nguyên nhân thường dẫn đến trích xuất trùng lặp.

Sơ đồ quá rối

Bạn thấy: hàng trăm hoạt động, phần lớn là hoạt động kỹ thuật.

Vì sao: các lần đăng nhập, thử lại và tác vụ chạy nền nằm chung trong dữ liệu trích xuất với các bước nghiệp vụ.

Cách khắc phục: ẩn các thuộc tính bạn không phân tích, lọc bỏ sự kiện không thuộc quy trình và nhóm các sự kiện cấp thấp vào hoạt động tương ứng. Chuyên gia quy trình sẽ quyết định mức độ chi tiết nào là hữu ích, mức nào chỉ gây nhiễu.

Dữ liệu từ nhiều hệ thống không khớp nhau

Bạn thấy: quy trình có khoảng trống ở những chỗ lẽ ra phải có dữ liệu từ một hệ thống.

Vì sao: dữ liệu từ các hệ thống được trích xuất vào những thời điểm khác nhau, cùng một bước được đặt tên khác nhau, hoặc có hệ thống chưa được trích xuất.

Cách khắc phục: thống nhất khoảng thời gian trích xuất và cách gọi hoạt động trước khi kết hợp dữ liệu. Gán vai trò cho từng tập dữ liệu bằng cách chọn primary and comparison thay vì ghép các tệp có dữ liệu không khớp nhau.

Dấu hiệu bất thường trong tập dữ liệu

Tệp tải lên bị từ chối

Bạn thấy: quá trình tải lên kết thúc bằng lỗi, hoặc tệp được tải thành một cột duy nhất.

Vì sao: tệp không đáp ứng một trong các yêu cầu về cấu trúc. Các lỗi thường gặp gồm thiếu hàng tiêu đề (tiêu đề phải nằm ở dòng đầu tiên), có hàng trống giữa các mục dữ liệu, số được lưu dưới dạng văn bản và dữ liệu Excel nằm ở trang tính thứ hai. Hệ thống chỉ đọc trang tính đầu tiên.

Cách khắc phục: đặt tiêu đề ở hàng 1, xóa các hàng trống, đảm bảo dữ liệu số được lưu dưới dạng số và chuyển dữ liệu sự kiện sang trang tính đầu tiên. Hệ thống tự nhận diện dấu phân cách và dấu ngoặc kép trong CSV, TSV và TXT. Nếu kết quả chỉ có một cột, thường là do không đọc được tệp. Hãy xuất lại dưới dạng CSV hoặc Parquet.

Cột hoặc kiểu dữ liệu không đúng

Bạn thấy: thiếu một cột, hoặc dấu thời gian bị nhận diện là văn bản.

Vì sao: tệp đã thay đổi kể từ lần tải lên trước, hoặc hệ thống nhận diện sai kiểu dữ liệu.

Cách khắc phục: đặt kiểu và định dạng dữ liệu theo cách thủ công, hoặc ẩn cột đó. Sau khi thay tệp, kiểm tra danh sách màu đỏ để tìm điểm không khớp giữa tệp mới và tập dữ liệu đã tải tệp lên.

Không nhận diện được dấu thời gian

Bạn thấy: cột dấu thời gian trống, hoặc thời lượng dài hơn nhiều so với thực tế.

Vì sao: định dạng lạ, thứ tự ngày và tháng tùy theo khu vực, độ chính xác không đồng nhất (giây và mili giây trong cùng một cột), hoặc chuyển đổi múi giờ bị áp dụng hai lần.

Cách khắc phục: đặt định dạng cụ thể trong thuộc tính tập dữ liệu, tách dữ liệu có độ chính xác không đồng nhất ngay tại nguồn và thống nhất một múi giờ trước khi tải lên.

Giá trị bị trống

Bạn thấy: bảng chất lượng cho thấy một số thuộc tính chưa có đủ dữ liệu, hoặc biểu đồ có nhóm null.

Vì sao: hệ thống nguồn không ghi nhận giá trị cho mọi trường hợp, hoặc quá trình xuất dữ liệu đã loại bỏ các trường trống.

Cách khắc phục: bổ sung dữ liệu còn thiếu tại nguồn nếu có thể. Nếu có thể thay giá trị trống bằng giá trị mặc định phù hợp, hãy dùng hàm xử lý giá trị null trong một thuộc tính tính toán.

Tên hoạt động không thống nhất

Bạn thấy: “Approve Order” và “Order Approval” được liệt kê thành hai hoạt động dù cùng chỉ một việc, hoặc cùng một bước có tên khác nhau ở mỗi quốc gia.

Vì sao: mỗi hệ thống nguồn dùng tên riêng cho cùng một công việc.

Cách khắc phục: thống nhất một tên cho mỗi bước, sau đó chuẩn hóa giá trị trong dữ liệu trích xuất hoặc thêm thuộc tính tính toán để ánh xạ các tên khác nhau về một tên chung. Tiếp đó, ánh xạ hoạt động theo tên đã thống nhất.

Dấu hiệu bất thường trong số liệu

Giá trị trung bình có vẻ quá thấp

Bạn thấy: thời lượng trung bình của trường hợp thấp đến mức không phản ánh thực tế theo đánh giá của doanh nghiệp.

Vì sao: chỉ số thời gian chỉ tính các trường hợp đã đóng, nên không tính các trường hợp chưa hoàn tất. Những trường hợp hoàn tất thường là trường hợp nhanh hơn, nhất là trong khoảng thời gian gần đây.

Cách khắc phục: so sánh các trường hợp tương đồng. Chỉ chọn khoảng thời gian đủ dài để các trường hợp có thể hoàn tất, đọc định nghĩa trong Time Metrics trước khi kết luận dựa trên một giá trị trung bình, và xem phân bố thay vì chỉ xem giá trị trung bình.

Giá trị trung bình bị ảnh hưởng bởi các trường hợp ngoại lệ

Bạn thấy: giá trị trung bình cao hơn nhiều so với trường hợp thông thường.

Vì sao: một số ít trường hợp có giá trị cực đoan kéo mức trung bình lên. Đôi khi đó là ngoại lệ có thật, đôi khi là lỗi dữ liệu.

Cách khắc phục: xem nhóm trường hợp chậm nhất (P90 so với trung vị) thay vì chỉ xem giá trị trung bình. Kiểm tra xem các trường hợp cực đoan có thật hay không và chỉ loại bỏ những trường hợp thực sự sai. Ngoại lệ hiếm gặp nhưng có thật vẫn mang lại thông tin hữu ích. Time Metrics giải thích từng chỉ số.

So sánh không hiển thị kết quả

Bạn thấy: tập dữ liệu so sánh báo Not present (0 cases, 0% coverage).

Vì sao: bộ lọc đang bật hoặc khoảng thời gian đã chọn không có trường hợp nào thuộc tập dữ liệu đó, hoặc các hoạt động trong tập dữ liệu chưa được ánh xạ vào mô hình.

Cách khắc phục: mở rộng khoảng thời gian, kiểm tra ánh xạ của tập dữ liệu so sánh và xác nhận tập dữ liệu nào được chọn làm primary.

Khi vấn đề nằm ở quy mô dữ liệu

Một số vấn đề không phải do dữ liệu sai mà do quy mô:

• Tải lên chậm: ưu tiên Parquet hoặc ORC; với tệp Excel, chọn XLSB thay vì XLSX. Xem Supported Data Formats.
• Tệp ngày càng lớn: thêm dữ liệu của các kỳ mới bằng cách tải lên tăng dần (delta) thay vì thay toàn bộ tệp.
• Phân tích chậm: bỏ các cột không ai phân tích, lọc bỏ luồng xử lý thông thường khi tìm ngoại lệ và chỉ xem từng kỳ hoặc từng khu vực. hướng dẫn về hiệu suất cho biết quy mô dữ liệu ảnh hưởng thế nào.
• Tập dữ liệu không còn cần thiết: lưu trữ những dữ liệu bạn không còn phân tích để không gian làm việc chỉ chứa dữ liệu bạn thực sự dùng để hành động.

Khắc phục ngay từ nguồn

Mỗi vấn đề được xử lý ngay trong ProcessMind giúp bạn tránh thêm một lượt trao đổi, nhưng một số vấn đề chỉ có thể giải quyết từ nguồn: thiếu hệ thống nguồn, dữ liệu dùng nhiều múi giờ hoặc mã định danh không được thống nhất khi xuất. Hãy xử lý những vấn đề này trong dữ liệu trích xuất và, nếu chúng lặp lại, trong hệ thống tạo ra dữ liệu đó. Xem Where to Get Data để biết cách lấy dữ liệu từ từng hệ thống và ETL for Process Mining để tìm hiểu cách duy trì dữ liệu trích xuất đáng tin cậy.

Vẫn chưa xử lý được?

Nếu các bước kiểm tra trên chưa giải thích được vấn đề, hãy liên hệ đội ngũ hỗ trợ và cung cấp tên tập dữ liệu, trường hợp bạn đang xem, kết quả mong đợi và kết quả thực tế. Ảnh chụp sơ đồ và bảng chất lượng thường giúp xác định vấn đề nhanh hơn mô tả bằng lời.

Thử process mining với dữ liệu của bạn

Chủ đề liên quan

• Data Quality - huy hiệu cho biết điều gì và cách đọc bảng chất lượng
• Configuring Your Dataset - danh sách xác thực màu đỏ và các trường bắt buộc
• Supported Data Formats - hàng tiêu đề, trang tính và loại tệp
• Data Cleaning and Preparation - quy trình chuẩn bị dữ liệu
• Incremental Data Loading - mở rộng tập dữ liệu mà không cần tải lại toàn bộ
• FAQ - những câu hỏi thường gặp