Trong trang này
> tai nguyen > tai lieu > du lieu process mining > Làm sạch và chuẩn bị dữ liệu cho process mining

Làm sạch và chuẩn bị dữ liệu cho process mining

Process Intelligence Process Intelligence Có trong gói Process Intelligence trở lên. Chỉ giấy phép thuộc gói này hoặc gói cao hơn mới dùng được tính năng này. So sánh các gói Có trong gói Process Intelligence trở lên

Process mining hiệu quả bắt đầu từ dữ liệu chất lượng tốt. Phần lớn công việc xoay quanh một số vấn đề quen thuộc: sự kiện chưa từng được ghi lại, mã định danh không khớp giữa các hệ thống, định dạng không thống nhất, hoặc dữ liệu xuất quá lớn hay quá nhạy cảm để xử lý tùy tiện. Trang này hướng dẫn bạn xử lý từng vấn đề và các bước khắc phục. Để thực hiện những việc này trong ProcessMind, xem Cấu hình tập dữ liệu và Chất lượng dữ liệu.

Vì sao cần làm sạch và chuẩn bị dữ liệu?

Process mining dựa vào nhật ký sự kiện, tức tập dữ liệu ghi lại chi tiết chuỗi hoạt động trong một quy trình kinh doanh. Nếu dữ liệu thiếu, không nhất quán hoặc có lỗi, kết quả phân tích sẽ không đáng tin cậy. Dữ liệu được làm sạch và sắp xếp đúng cách giúp công cụ sơ đồ hóa quy trình làm việc, phát hiện điểm nghẽn và chỉ ra những nơi cần cải tiến.

Các bước chính để làm sạch và chuẩn bị dữ liệu

1. Thu thập dữ liệu từ tất cả hệ thống liên quan

Dữ liệu thường đến từ nhiều hệ thống: ERP lưu đơn hàng và hóa đơn, CRM ghi lại các bước tương tác với khách hàng, còn hệ thống hỗ trợ dịch vụ quản lý phiếu yêu cầu. Hãy thu thập dữ liệu từ tất cả hệ thống trước khi làm sạch. Nếu bỏ sót một hệ thống, bạn sẽ không thể khôi phục những bước chỉ được ghi lại ở đó.

  • Gộp các nguồn dữ liệu: liệt kê các hệ thống ghi lại từng phần của quy trình rồi xuất dữ liệu từ mỗi hệ thống. Ví dụ, quy trình từ đơn hàng đến thu tiền có thể trải qua hệ thống bán hàng (chẳng hạn Salesforce) và hệ thống tài chính (chẳng hạn SAP).
  • Phá vỡ các kho dữ liệu riêng lẻ: thống nhất với chủ sở hữu quy trình về những hệ thống cần đưa vào và người có quyền xuất dữ liệu. Dữ liệu bị thiếu thường do bỏ sót một hệ thống, chứ không phải do truy vấn bị lỗi. Các công cụ tích hợp như Apache NiFi, Talend, Informatica hoặc Power BI có thể gộp nhiều nguồn vào một tệp.
  • Lên phương án cho dữ liệu không thể trích xuất: nếu một bước diễn ra ngoài hệ thống, chẳng hạn phê duyệt qua điện thoại hoặc ký trên giấy, hãy ghi lại ít nhất kết quả của bước đó trong hệ thống số, hoặc mô hình hóa bước này để chế độ xem quy trình vẫn đầy đủ. Nguồn lấy dữ liệu hướng dẫn cách tìm dữ liệu trong từng hệ thống.

2. Xóa bản ghi trùng lặp

Bản ghi trùng lặp làm sai lệch kết quả phân tích vì khiến số lượng hoạt động tăng lên và một sự kiện trông như nhiều sự kiện. Tìm các bản ghi có cùng ID trường hợp, hoạt động và dấu thời gian, rồi xóa hoặc gộp chúng thành một hàng.

3. Xử lý dữ liệu bị thiếu

Thiếu dấu thời gian, hoạt động hoặc ID trường hợp sẽ làm đứt chuỗi sự kiện và khiến mô hình quy trình không đầy đủ.

  • Tìm giá trị bị thiếu: kiểm tra dấu thời gian để trống, tên hoạt động không có dữ liệu và ID trường hợp null.
  • Bổ sung phần còn thiếu: nếu có thể, hãy dùng nguồn khác hoặc hiểu biết về quy trình. Nếu thiếu một dấu thời gian, thời điểm của các sự kiện xung quanh có thể giúp bạn xác định khoảng thời gian phù hợp.
  • Mô hình hóa thay vì tự tạo dữ liệu: với những bước chưa từng được ghi lại, hãy thêm chúng bằng cách mô hình hóa quy trình thay vì tự đặt dấu thời gian. Như vậy, quy trình được khai phá từ dữ liệu và quy trình được ghi lại sẽ khớp với nhau.
  • Ước tính hoặc loại bỏ: với dữ liệu thiếu quan trọng, hãy dùng phương pháp ước tính, chẳng hạn thay bằng giá trị trung bình hoặc dùng mô hình hồi quy. Nếu không thể khôi phục một trường hợp, hãy xóa trường hợp đó và ghi rõ lý do.

4. Chuẩn hóa định dạng, ID và tên

  • Dấu thời gian: dùng cùng một định dạng ở mọi nơi (ví dụ: YYYY-MM-DD HH:MM:SS). Nếu dữ liệu xuất có nhiều múi giờ, hãy chuyển tất cả sang UTC. Xem danh sách định dạng ngày được hỗ trợ
  • ID trường hợp: cùng một quy trình thường có các mã định danh khác nhau trong từng hệ thống, chẳng hạn số đơn hàng trong CRM và số hóa đơn trong hệ thống tài chính. Hãy lập bảng ánh xạ giữa các mã này, trong dữ liệu xuất hoặc dưới dạng bảng tra cứu, để mọi sự kiện được gắn với cùng một trường hợp. Mỗi phiên bản quy trình cần có một ID riêng. Trong ProcessMind, hãy kiểm tra để cột ID trường hợp được ánh xạ giống nhau trong mọi tập dữ liệu bạn kết hợp; xem thuộc tính tập dữ liệu.
  • Tên hoạt động: các hệ thống có thể gọi cùng một bước bằng những tên khác nhau. Hãy thống nhất một tên cho mỗi bước. “Phê duyệt đơn hàng” và “Đơn hàng được phê duyệt” là cùng một hoạt động.
  • Giá trị và kiểu dữ liệu: giữ số liệu ở dạng số (chi phí, thời lượng, số tiền) và dùng cùng một đơn vị trong mỗi cột.

5. Loại bỏ sự kiện không liên quan

Không phải sự kiện nào được ghi lại cũng thuộc quy trình bạn đang phân tích. Đăng nhập hệ thống, thử lại do lỗi kỹ thuật và tác vụ quản trị làm sơ đồ rối hơn mà không bổ sung thông tin hữu ích.

  • Lọc bỏ sự kiện không liên quan: dựa vào hiểu biết về quy trình để xác định sự kiện nào mô tả quy trình, rồi loại bỏ những sự kiện còn lại.
  • Chọn mức độ chi tiết phù hợp: sự kiện quá khái quát (“đã xử lý đơn hàng”) sẽ che khuất những khác biệt bạn cần tìm. Ngược lại, sự kiện quá chi tiết sẽ khiến sơ đồ ngập trong thông tin kỹ thuật. Hãy gộp các sự kiện cấp thấp thành hoạt động kinh doanh tương ứng, với sự tư vấn của chuyên gia quy trình.

6. Xử lý giá trị ngoại lệ và dữ liệu nhiễu

Giá trị ngoại lệ có thể khiến bạn hiểu sai cách quy trình thường vận hành. Một tác vụ mất thời gian bất thường do sự cố hiếm gặp có thể làm lệch giá trị trung bình.

  • Xác định giá trị ngoại lệ: đánh dấu những thời lượng nằm ngoài khoảng bình thường của bước đó.
  • Quyết định có giữ lại hay không: một ngoại lệ có thật, chẳng hạn sự cố nghiêm trọng nhưng hiếm gặp, thường chứa thông tin đáng giữ lại. Lỗi dữ liệu thì không. Chỉ xóa dữ liệu sai, đừng xóa dữ liệu chỉ vì nó gây bất tiện.

7. Kiểm tra thứ tự sự kiện

Nếu sự kiện không đúng thứ tự, công cụ sẽ dựng sai luồng quy trình.

  • Kiểm tra trình tự: sự kiện của mỗi trường hợp cần theo đúng thứ tự dấu thời gian. Nếu sự kiện “Đơn hàng được phê duyệt” xuất hiện trước “Đã tạo đơn hàng” trong cùng một trường hợp, hãy kiểm tra lại dấu thời gian.
  • Sắp xếp theo dấu thời gian: sắp xếp sự kiện của từng trường hợp theo cột dấu thời gian trước khi tải lên.

8. Xử lý tập dữ liệu lớn

Tệp dữ liệu lớn mất nhiều thời gian để chuẩn bị và tải lên. Hãy tính đến kích thước dữ liệu ngay từ đầu thay vì tìm cách xử lý khi đã gặp trở ngại.

  • Dùng mẫu để khám phá, tải dữ liệu để phân tích: một mẫu đại diện là đủ để kiểm tra các sự kiện trích xuất có hợp lý không. Chỉ tải toàn bộ dữ liệu khi cần phân tích.
  • Tải dữ liệu theo từng đợt: thay vì thay thế toàn bộ, hãy thêm các kỳ mới bằng tải dữ liệu tăng dần (delta).
  • Ưu tiên định dạng dạng cột: tệp Parquet và ORC nhỏ hơn, tải lên nhanh hơn CSV hoặc Excel khi có nhiều dữ liệu. Xem Các định dạng dữ liệu được hỗ trợ.

9. Bảo vệ dữ liệu nhạy cảm

Nhật ký sự kiện có thể chứa tên, địa chỉ, mã khách hàng và ID người dùng, vì vậy hãy xử lý dữ liệu trích xuất như dữ liệu cá nhân.

  • Ẩn danh hoặc che dữ liệu: xóa hoặc che những thông tin không cần cho phân tích. Chỉ giữ ID người dùng khi cần phân tích tài nguyên.
  • Giới hạn quyền truy cập: chỉ chia sẻ dữ liệu trích xuất với số ít người cần dùng. Dùng quyền truy cập theo vai trò cho các bộ dữ liệu bạn tải lên.
  • Tuân thủ các quy định áp dụng: giới hạn thời gian lưu trữ, mã hóa dữ liệu khi truyền và khi lưu, đồng thời tuân thủ các quy định như GDPR đối với dữ liệu khách hàng.

10. Tạo nhật ký sự kiện

Khi dữ liệu đã sạch, nhất quán và được sắp xếp đúng thứ tự, hãy tạo nhật ký sự kiện, bộ dữ liệu chính dùng cho process mining. Mỗi nhật ký cần có:

  • ID trường hợp: mã định danh duy nhất cho mỗi trường hợp của quy trình.
  • Hoạt động: tên của bước đã diễn ra.
  • Dấu thời gian: thời điểm sự kiện diễn ra, dùng để xác định thứ tự.

Các cột tùy chọn giúp phân tích sâu hơn, chẳng hạn tài nguyên (người hoặc nhóm), phòng ban, chi phí hoặc thuộc tính tùy chỉnh để phân tích quy trình theo từng nhóm. Xem đầy đủ yêu cầu tại Các định dạng dữ liệu được hỗ trợ.

11. Kiểm tra bộ dữ liệu

Trước khi dựa vào kết quả, hãy kiểm tra xem bộ dữ liệu có phản ánh đúng quy trình bạn muốn phân tích không.

  • Kiểm tra một số trường hợp: theo dõi từ đầu đến cuối một vài trường hợp quy trình và xác nhận chuỗi sự kiện hợp lý.
  • Chạy thử phân tích: chạy process mining một lần và tìm những điểm vô lý dễ thấy, chẳng hạn hoạt động không bao giờ diễn ra, sự kiện bắt đầu hoặc kết thúc không đúng, hay trường hợp lẽ ra đã đóng.
  • Xác nhận với chủ sở hữu quy trình: chuyên gia nghiệp vụ có thể nhanh chóng cho bạn biết dữ liệu có phản ánh đúng cách công việc thực sự diễn ra hay không.

Làm sạch dữ liệu trong ProcessMind

Bạn có thể xử lý nhiều bước chuẩn bị dữ liệu nêu trên ngay trong ProcessMind sau khi tải lên:

Để làm sạch dữ liệu bên ngoài ProcessMind, bạn có thể dùng các công cụ đa năng như Python/Pandas, Excel, Google Sheets, công cụ ETL hoặc OpenRefine trước khi tải lên. Xem hướng dẫn chuẩn bị dữ liệu đầy đủ hơn về cách đặt tên, định dạng, tải dữ liệu tăng dần và lưu trữ tại ETL cho process mining.

Chủ đề liên quan

Thiết kế quy trình tốt hơn. Kết nối các quy trình. Luôn chủ động kiểm soát.

Truy cập ngay, không cần thẻ tín dụng hay chờ đợi. Biến cách tổ chức của bạn vận hành thành các thiết kế quy trình rõ ràng, liên kết với nhau.

Xây dựng kiến trúc quy trình, xác định quyền sở hữu và cơ chế kiểm soát, đồng thời thống nhất vai trò và trách nhiệm ở mọi cấp.

Bắt đầu dùng thử miễn phí để tạo nền tảng đáng tin cậy cho việc quản trị, quản lý và cải tiến quy trình liên tục.

Dùng thử miễn phí ngay