Dữ liệu process mining: cần gì để bắt đầu
Tìm hiểu bạn cần dữ liệu nào cho process mining, lấy dữ liệu ở đâu, cách kiểm tra và tải bộ dữ liệu đầu tiên lên mà không cần kỹ sư dữ liệu.
Dữ liệu cho process mining cần ba trường: mã trường hợp để liên kết các sự kiện, hoạt động cho biết điều gì đã xảy ra và dấu thời gian để xác định thời điểm. Hầu hết các nhóm đều tìm thấy những trường này trong tệp xuất sẵn có. Việc cần làm là chọn những bản ghi giúp trả lời câu hỏi của bạn.
Tóm tắt: cần dữ liệu gì cho process mining?
Bắt đầu với event log tối thiểu: mỗi sự kiện một dòng, gồm mã trường hợp, hoạt động và dấu thời gian. Chỉ thêm thuộc tính khi chúng giúp trả lời một câu hỏi cụ thể. Đừng chờ có bộ dữ liệu hoàn hảo mới kiểm tra xem dữ liệu có cho thấy công việc thực sự diễn ra như thế nào hay không.
Các phần dưới đây tập trung vào cách đảm bảo ba trường này đáng tin cậy. Nếu bạn chưa quen với các thuật ngữ, hãy bắt đầu từ process mining là gì và tìm hiểu event log có thể cho bạn biết điều gì trước khi trích xuất dữ liệu.
| Trường | Trạng thái | Phiên bản tối thiểu |
|---|---|---|
| Mã trường hợp | Bắt buộc | Mã định danh ổn định, dùng chung cho mọi sự kiện trong một lần chạy quy trình, chẳng hạn mã đơn hàng |
| Hoạt động | Bắt buộc | Tên rõ ràng cho sự kiện hoặc thay đổi trạng thái, chẳng hạn “Đã nhận đơn hàng” |
| Dấu thời gian | Bắt buộc | Ngày giờ của từng sự kiện, theo định dạng và múi giờ nhất quán |
| Thuộc tính bổ sung | Hữu ích | Các trường như số tiền, kênh, phòng ban hoặc kết quả giúp giải thích sự khác biệt |
| Người thực hiện hoặc chủ sở hữu | Không bắt buộc | Cá nhân, nhóm hoặc hệ thống gắn với sự kiện, nếu phù hợp và cần thiết cho phân tích |
Các trường bắt buộc tạo nên phần cốt lõi của lược đồ dữ liệu process mining. Những trường không bắt buộc giúp bạn giải thích sự khác biệt sau này. Trước tiên, hãy kiểm tra tệp xuất có đủ ba trường bắt buộc không và mỗi dòng có tương ứng với một sự kiện không. Để xem ví dụ cụ thể về cấu trúc, hãy đọc cách tạo event log; để biết cách thiết lập các trường, xem tài liệu ánh xạ dữ liệu.
Bạn cần dữ liệu gì?
Hãy tưởng tượng bạn bán nước chanh và muốn tìm hiểu vì sao khách phải chờ. Bạn không cần mọi chi tiết về từng khách hàng. Bạn cần biết các bước trong mỗi đơn hàng.
Với mỗi sự kiện, hãy ghi lại:
- Mã trường hợp: mã đơn hàng liên kết các sự kiện thuộc cùng một đơn.
- Hoạt động: tên việc đã xảy ra, chẳng hạn “Nhận đơn”, “Pha nước chanh” hoặc “Phục vụ khách”.
- Dấu thời gian: thời điểm sự kiện xảy ra, giúp sắp xếp các sự kiện theo thứ tự.
Một ví dụ nhỏ cũng đủ để minh họa cấu trúc:
| Mã trường hợp | Dấu thời gian | Hoạt động |
|---|---|---|
| 1 | 10:00 sáng | Nhận đơn |
| 1 | 10:02 sáng | Pha nước chanh |
| 1 | 10:05 sáng | Phục vụ khách |
| 2 | 10:03 sáng | Nhận đơn |
| 2 | 10:10 sáng | Xử lý khiếu nại |
| 2 | 10:12 sáng | Pha nước chanh |
| 2 | 10:15 sáng | Phục vụ khách |
Với các trường này, bạn có thể xem thứ tự các bước trong từng đơn và thời gian mỗi bước mất bao lâu. Những trường bổ sung như loại đơn hàng hoặc kênh bán hàng giúp giải thích vì sao một số đơn mất nhiều thời gian hơn. Hãy thêm chúng khi cần trả lời một câu hỏi cụ thể.
Cách làm này cũng áp dụng ngoài quầy nước chanh. Trong quy trình xử lý đơn hàng, mã trường hợp có thể là mã đơn, hoạt động có thể là các lần đổi trạng thái, còn dấu thời gian có thể lấy từ lịch sử sự kiện thay vì tệp báo cáo. Sau khi ánh xạ các trường, ProcessMind đọc tệp xuất sẵn có để bạn xem luồng quy trình trong nền tảng process mining mà không cần thay đổi hệ thống nguồn.
Vụ việc thiếu nhật ký bán nước chanh
Quầy nước chanh đông khách, hàng chờ cứ dài thêm. Bạn muốn biết khách phải chờ để gọi món, chờ pha chế hay gặp trục trặc ở đâu. Nhưng thông tin lại nằm rải rác trong hóa đơn, hồ sơ đơn hàng và ghi chú.
Đây là chuyện thường gặp trong các dự án thực tế. Dữ liệu vẫn có, nhưng chưa được sắp thành event log hoàn chỉnh. Bạn cần kết hợp bản ghi từ nhiều bảng hoặc hệ thống, rồi xác định trường nào là mã trường hợp, hoạt động và dấu thời gian.
Trước tiên, hãy ghi rõ câu hỏi cần trả lời, rồi tìm những bản ghi có thể giúp bạn trả lời.
- Để đo thời gian xử lý đơn hàng, hãy tìm mã đơn và dấu thời gian của các lần đổi trạng thái liên quan.
- Để so sánh các kênh, hãy thêm kênh bán hàng làm thuộc tính.
- Để tìm hiểu khiếu nại, hãy thêm các hoạt động hoặc kết quả liên quan nếu chúng được ghi nhận nhất quán.
Cách này giúp bạn tập trung vào lần trích xuất đầu tiên. Bạn không cần thu thập mọi trường trong mọi hệ thống, chỉ cần đủ dữ liệu để dựng lại quy trình và tìm hiểu câu hỏi đang đặt ra.
Nếu đã có tệp Excel hoặc CSV, hãy xem qua trước khi nhờ nhóm dữ liệu tạo tệp trích xuất mới. Bạn sẽ biết các trường hiện có giúp làm được gì và cần bổ sung gì trong lần trích xuất tiếp theo.
Tìm dữ liệu cần thiết
Nguồn dữ liệu cho process mining thường là các hệ thống ghi lại công việc khi diễn ra, chẳng hạn ERP, CRM, nền tảng ITSM, công cụ quản lý phiếu yêu cầu hoặc ứng dụng vận hành khác. Bản ghi cần thiết có thể nằm trong cơ sở dữ liệu, báo cáo hoặc tệp xuất.
Hãy hỏi chủ sở hữu quy trình và hệ thống xem các sự kiện chính được ghi ở đâu, rồi lần theo một vài trường hợp thực tế từ đầu đến cuối. Bạn cần kiểm tra xem có thể tìm thấy mã trường hợp, tên sự kiện và dấu thời gian ở mọi bước hay không.
-
Chọn một quy trình và một câu hỏi
Đơn hàng thường phải chờ ở đâu, hoặc khâu bàn giao nào làm mất nhiều thời gian nhất? -
Tìm hệ thống và người phụ trách
Ứng dụng nào ghi lại công việc và nhóm nào vận hành ứng dụng đó? -
Tìm lịch sử sự kiện
Tìm báo cáo hoặc bảng có lịch sử đổi trạng thái, thay vì ảnh chụp trạng thái hiện tại. -
Kiểm tra mã trường hợp
Mọi sự kiện bạn muốn liên kết phải có cùng một mã định danh. -
Trước tiên, hãy xuất một mẫu nhỏ
Kiểm tra mẫu dữ liệu trước khi yêu cầu trích xuất nhiều hơn.
Đừng lấy mọi bảng chỉ vì bạn có thể truy cập chúng. Tệp trích xuất tập trung sẽ dễ rà soát, làm sạch và giải thích hơn. Nếu quy trình đi qua nhiều hệ thống, hãy ghi lại cách các bản ghi liên kết với nhau, chẳng hạn mã đơn hàng nào nối hồ sơ CRM với hồ sơ ERP.
Để xem tổng quan các nguồn dữ liệu phổ biến, hãy đọc tài liệu về nơi lấy dữ liệu. Nếu cần kết hợp hoặc chuyển đổi dữ liệu từ nhiều hệ thống, hướng dẫn ETL cho process mining sẽ giúp bạn thực hiện phần việc đó.
Làm sạch dữ liệu
Tệp xuất có thể chứa sự kiện trùng lặp, thiếu dấu thời gian, tên trạng thái không nhất quán, đơn hàng thử nghiệm hoặc bản ghi không thuộc quy trình bạn muốn tìm hiểu. Những vấn đề này không khiến tệp trở nên vô dụng. Tuy nhiên, bạn cần biết mỗi dòng đại diện cho điều gì trước khi diễn giải kết quả.
Hãy rà soát dữ liệu qua một vài lượt:
- Bản ghi trùng lặp: kiểm tra các dòng lặp là sự kiện thực sự xảy ra nhiều lần hay chỉ là bản sao ngoài ý muốn.
- Dấu thời gian: tìm giá trị bị thiếu, định dạng lẫn lộn, múi giờ bất thường và sự kiện xuất hiện sai thứ tự.
- Hoạt động và trạng thái: thống nhất các nhãn có cùng ý nghĩa, đồng thời giữ riêng những trạng thái đại diện cho các bước khác nhau.
- Bản ghi thử nghiệm hoặc đã hủy: xác định chúng có thuộc phạm vi phân tích không, rồi ghi lại những gì bạn loại bỏ và lý do.
- Mã trường hợp: kiểm tra mã bị trống hoặc thay đổi, vì chúng có thể tách một trường hợp thành nhiều phần hoặc gộp các trường hợp không liên quan.
Đừng loại bỏ các trường hợp bất thường chỉ vì chúng khác biệt. Trước tiên, hãy xác định đó là ngoại lệ hợp lệ hay lỗi dữ liệu. Ghi lại mọi thay đổi để có thể đối chiếu và giải thích bộ dữ liệu đã chuẩn bị dựa trên dữ liệu nguồn.
Chất lượng dữ liệu cho process mining hiếm khi chỉ có hai mức đạt hoặc không đạt. Điều quan trọng là các trường dùng để trả lời câu hỏi của bạn có nhất quán hay không, vì vậy kiểm tra mẫu dữ liệu hữu ích hơn một lời cam kết. ProcessMind hiển thị điểm chất lượng ngay trên bộ dữ liệu, kèm phần trăm và bảng giải thích những yếu tố ảnh hưởng đến điểm số, như giá trị bị thiếu, giá trị không nhất quán và lỗi dấu thời gian. Bạn có thể xem kết quả đáng tin đến mức nào trước khi hành động, đồng thời theo dõi điểm số thay đổi khi bạn sửa dữ liệu. Xem chi tiết trong tài liệu về chất lượng dữ liệu.
Rà soát dữ liệu là một quá trình lặp lại: bắt đầu với một mẫu, ánh xạ các trường, xem quy trình được dựng lên rồi tìm hiểu những điểm có vẻ sai. Hướng dẫn làm sạch và chuẩn bị dữ liệu trình bày các bước và cách kiểm tra thường dùng.
Chuẩn hóa dữ liệu
Sau khi tìm và rà soát các bản ghi, hãy ánh xạ cột nguồn vào những trường cần cho phân tích quy trình. Tên trường trong hệ thống nguồn có thể khác, nhưng ý nghĩa phải rõ ràng.
| Ví dụ về cột nguồn | Ánh xạ thành | Cần kiểm tra |
|---|---|---|
| Mã đơn hàng | Mã trường hợp | Giá trị nhất quán giữa các sự kiện trong cùng một đơn hàng |
| Mô tả trạng thái hoặc sự kiện | Hoạt động | Mỗi giá trị mô tả một bước hoặc thay đổi có ý nghĩa |
| Thời điểm tạo, cập nhật hoặc sự kiện | Dấu thời gian | Thời điểm tương ứng với sự kiện bạn đang phân tích |
| Kênh bán hàng hoặc giá trị đơn hàng | Thuộc tính bổ sung | Trường có đủ dữ liệu để hỗ trợ việc so sánh |
Hoạt động nên mô tả một sự kiện trong quy trình, không phải một nhận xét chung chung. “Khách hàng hài lòng” có thể chỉ là ý kiến hoặc ghi chú; “Đã giao đơn hàng” mô tả sự kiện rõ hơn nếu hệ thống ghi nhận trạng thái đó. Hãy chọn dấu thời gian cho biết khi sự kiện xảy ra, không chỉ là thời điểm xuất báo cáo.
Bạn không cần tự gán từng cột. Khi ánh xạ bộ dữ liệu, ProcessMind đề xuất các trường phù hợp. AI Data Recommendations gợi ý những ánh xạ có khả năng đúng kèm điểm tin cậy, sau đó đề xuất thuộc tính, hoạt động hoặc nguồn dữ liệu có thể giúp phân tích rõ hơn. Bạn chỉ cần rà soát và xác nhận, thay vì dò từng danh sách trường. Nhờ đó, việc ánh xạ có thể xong trong một buổi chiều thay vì kéo dài cả tuần. Xem đề xuất dữ liệu bằng AI.
Ánh xạ tốt giúp những người am hiểu công việc dễ hiểu quy trình hơn. Hãy cùng chủ sở hữu quy trình rà soát tên hoạt động và xác nhận mã trường hợp, dấu thời gian hoạt động như dự kiến. Tài liệu ánh xạ dữ liệu giải thích cách thiết lập bộ dữ liệu, còn hướng dẫn ánh xạ hoạt động trình bày cách định nghĩa hoạt động.
Bạn cần bao nhiêu dữ liệu?
Không có số lượng trường hợp hay khoảng thời gian dữ liệu nào phù hợp với mọi quy trình. Lượng dữ liệu cần thiết tùy thuộc vào tần suất quy trình diễn ra, mức độ khác biệt bạn dự đoán và nội dung cần so sánh.
Để kiểm tra ban đầu, hãy dùng đủ số trường hợp để bao gồm công việc thường ngày và những ngoại lệ bạn quan tâm. Lấy đủ dữ liệu lịch sử để thấy các chu kỳ liên quan và những thay đổi đáng kể theo thời gian. Nếu chỉ có dữ liệu trong thời gian ngắn hoặc một mẫu nhỏ, bạn vẫn có thể kiểm tra lược đồ và ánh xạ, nhưng cần thận trọng khi xem kết quả là đại diện cho toàn bộ quy trình.
Nhiều dữ liệu hơn có thể giúp phát hiện những luồng ít gặp, nhưng cũng mất thêm thời gian chuẩn bị và phân tích. Hãy bắt đầu với một khoảng thời gian phù hợp, rồi mở rộng nếu kết quả ban đầu đặt ra thêm câu hỏi. Nếu đang làm việc với event log lớn, hãy xem hướng dẫn về hiệu suất và khả năng mở rộng của process mining trước khi quyết định tải bao nhiêu dữ liệu lịch sử.
Phần khó nhất là bước đầu tiên: hiểu event log và hình dung cách áp dụng vào một trường hợp sử dụng cụ thể. Khi đã nắm được điều đó, các bước tiếp theo sẽ nhanh hơn. Hãy bắt đầu nhỏ và chỉ mở rộng phạm vi khi bạn hiểu rõ hơn.
Định dạng và cách tải dữ liệu lên
Với dự án đầu tiên, hãy dùng tệp xuất mà nhóm của bạn có thể tạo và rà soát. ProcessMind hỗ trợ các định dạng bảng tính và tệp phân tách phổ biến, gồm CSV và Excel. Với event log lớn, bạn có thể dùng Parquet hoặc ORC. Chỉ mất vài phút để tải tệp lên: thêm tệp, rà soát các cột được nhận diện rồi xem quy trình trước khi quyết định có cần dùng trình kết nối hay không. Xem các bước trong cách tải bộ dữ liệu lên.
Bạn cũng có thể tải dữ liệu theo từng đợt khi cần thêm bản ghi mới mà không phải dựng lại toàn bộ bộ dữ liệu. Cách phù hợp tùy thuộc vào cách tạo dữ liệu nguồn và tần suất dữ liệu thay đổi. Xem tài liệu về các định dạng dữ liệu được hỗ trợ và tải dữ liệu theo từng đợt để biết thêm chi tiết.
API có thể phù hợp nếu bạn cần thiết lập cách tải dữ liệu lặp lại. Xem tài liệu API dữ liệu để tìm hiểu các lựa chọn hiện có. Nếu cần quyết định cách trích xuất, chuyển đổi và tải dữ liệu, hãy bắt đầu với hướng dẫn ETL.
Dữ liệu không nên tải lên
Chỉ đưa vào những dữ liệu cần thiết để trả lời câu hỏi về quy trình. Thông tin cá nhân có thể xuất hiện trong những trường bạn không ngờ tới, nhất là ghi chú, bình luận hoặc mô tả dạng văn bản tự do. Hãy rà soát tệp trích xuất trước khi tải lên, đồng thời xóa hoặc che các trường không cần cho phân tích.
Hãy phối hợp với các nhóm phụ trách quyền riêng tư, bảo mật và quản trị dữ liệu để xác nhận những gì tổ chức cho phép. Cân nhắc xem bạn có thực sự cần tên hoặc thông tin định danh trực tiếp khác không. Trong nhiều trường hợp, chỉ cần nhóm, vai trò hoặc mã định danh giả danh, nếu phù hợp với mục đích và chính sách của bạn.
Đừng xem việc phân tích quy trình là lý do để thu thập thêm dữ liệu cá nhân. Chỉ giữ lại những trường cần thiết để hiểu quy trình và tuân thủ quy định của tổ chức về quyền truy cập, thời hạn lưu trữ và cách xử lý dữ liệu. ProcessMind tách biệt các tenant và kiểm soát quyền truy cập theo vai trò. Nhật ký kiểm tra ghi lại ai có thể xem dữ liệu nào, giúp bạn trả lời câu hỏi đó sau này. Xem người dùng, vai trò và quyền hạn, nhật ký kiểm tra và chính sách quyền riêng tư của chúng tôi.
Phối hợp với nhóm dữ liệu
Yêu cầu rõ ràng giúp nhóm dữ liệu ước tính khối lượng công việc và tránh trích xuất không cần thiết. Hãy gửi bản mô tả dài một trang, gồm các thông tin sau:
- Quy trình: Nêu tên quy trình và điểm bắt đầu, điểm kết thúc.
- Câu hỏi: Nêu điều bạn muốn tìm hiểu, chẳng hạn đơn hàng thường phải chờ ở đâu.
- Phạm vi: Nêu hệ thống, khoảng thời gian và loại trường hợp cần đưa vào.
- Trường bắt buộc: Yêu cầu mã trường hợp, hoạt động và dấu thời gian cho từng sự kiện.
- Trường hữu ích: Chỉ liệt kê các thuộc tính cần để trả lời câu hỏi.
- Ví dụ: Đưa ra một vài trường hợp tiêu biểu, xóa thông tin nhạy cảm nếu cần.
- Kiểm tra: Nhờ nhóm đánh dấu mã bị thiếu, dấu thời gian bị thiếu, sự kiện trùng lặp và giá trị trạng thái chưa rõ.
- Quyền riêng tư: Xác nhận trường nào có thể chia sẻ và trường nào cần xóa hoặc che.
Bạn cũng có thể chia sẻ hướng dẫn về event log để nhóm có ví dụ cụ thể về cấu trúc cần tạo. Nếu dữ liệu phải lấy từ một hệ thống cụ thể, hãy gửi kèm hướng dẫn cải tiến quy trình tương ứng. Sau khi có tệp xuất, làm theo hướng dẫn bắt đầu để tải dữ liệu lên và xem quy trình.
Bước tiếp theo: tải dữ liệu lên và ánh xạ các trường
Bạn không cần có tệp trích xuất hoàn hảo mới biết dữ liệu có dùng được cho lần phân tích đầu tiên hay không. Hãy bắt đầu với tệp xuất sẵn có, kiểm tra ba trường bắt buộc và xem cần xử lý điểm nào trước khi đầu tư vào một dự án dữ liệu lớn hơn.
Bộ dữ liệu đầu tiên còn giúp bạn làm được nhiều hơn việc lập bản đồ quy trình. Sau khi tải dữ liệu lên, ProcessMind tự động chấm điểm quy trình qua Process Health: một điểm số nhất quán cho mỗi quy trình, dựa trên năm khía cạnh của khung CURES gồm Conformance, Uniformity, Rework, Efficiency và Smoothness. Điểm số cho biết nên bắt đầu từ đâu, còn các dashboard tương ứng chỉ ra việc cần cải thiện. Nhờ vậy, bộ dữ liệu đầu tiên tạo ra danh sách việc cần làm, không chỉ là một hình ảnh. Process Health và điểm số đi kèm với giấy phép Process Intelligence.
Where to Go From Here
Bạn đã biết cần ba trường nào và tìm chúng ở đâu. Bước tiếp theo là xem tệp xuất sẵn có có thể giúp bạn đi được đến đâu.
