Bộ kết nối process mining: khi nào đáng để triển khai

Bộ kết nối process mining hứa hẹn điều gì và tốn kém ra sao?

Bộ kết nối process mining có sẵn hứa hẹn giúp bạn nhanh chóng chuyển từ hệ thống nguồn sang phân tích: kết nối với ứng dụng, trích xuất dữ liệu rồi cập nhật theo lịch. Cách này có thể hiệu quả nếu bộ kết nối hỗ trợ hệ thống của bạn và đáp ứng yêu cầu dữ liệu. Tuy nhiên, không phải lúc nào cũng chỉ cần cắm vào là chạy. Bạn vẫn phải kiểm tra cấu hình hệ thống, mô hình dữ liệu, yêu cầu bảo mật và những câu hỏi cần giải đáp.

Xây dựng hoặc cấu hình bộ kết nối có thể cần ánh xạ trường, kiểm định kết quả và điều chỉnh theo quy trình làm việc tùy chỉnh hoặc thay đổi hệ thống. Nhóm dữ liệu của bạn có thể đã duy trì các bộ dữ liệu đáng tin cậy. Bộ kết nối mới có nguy cơ làm trùng việc thay vì tận dụng những gì đã có.

Công việc còn tiếp diễn sau đó. Cần có người bảo trì luồng dữ liệu, xử lý sự cố khi có thay đổi và hiểu cách bộ kết nối biến đổi dữ liệu. Nếu việc này làm chậm lần phân tích đầu tiên, sự tiện lợi của bộ kết nối cũng có cái giá của nó.

Bộ kết nối cần xử lý tốt những gì

Lời giới thiệu thường rất ngắn gọn: chọn hệ thống, bấm nút, nhận dữ liệu đã định dạng, lên lịch cập nhật, xong. Phần lớn công việc nằm ở những điều phiên bản ngắn gọn ấy bỏ qua.

• Hệ thống của bạn không theo cấu hình tiêu chuẩn. Bộ kết nối được xây dựng cho những phiên bản cụ thể của từng phần mềm, trong khi doanh nghiệp thường tùy chỉnh hệ thống: thêm trường, đổi quy trình làm việc, thay đổi cấu trúc bảng. Một hệ thống đã phát triển suốt mười năm sẽ không giống bản cài đặt mẫu trong tài liệu.
• Bộ kết nối phải hỗ trợ mọi thứ. Bộ kết nối được thiết kế cho mọi kiểu phân tích có thể phát triển phức tạp, hỗ trợ những trường hợp hiếm khi bạn gặp nhưng vẫn bỏ sót câu hỏi thực sự cần giải đáp.
• Mê cung nhiều bảng. Hầu hết bộ kết nối yêu cầu nhiều bảng nguồn có liên quan với nhau. Khi đó, bạn phải hiểu quy trình nghiệp vụ, mô hình dữ liệu của bộ kết nối, mô hình dữ liệu của hệ thống nguồn và cách chúng liên kết với nhau.
• Khó tin tưởng vào hộp đen. Khi có sự cố, bạn không thể nhìn vào bên trong để tìm hiểu. Dữ liệu nguồn sai, bộ kết nối biến đổi dữ liệu không đúng hay cấu hình có vấn đề? Không thể quan sát quá trình xử lý khiến việc tìm lỗi khó hơn, đồng thời khó giải thích kết quả cho những người cần hành động dựa trên đó.
• Tên gọi chung chung khiến bạn phải dịch lại. Nếu bộ kết nối gọi một mục là “Order Confirmation” còn nhóm bạn gọi là “Sales Acknowledgment”, mỗi cuộc trao đổi sau đó đều cần người giải thích hai cách gọi.

Chi phí thực tế

Công việc kỹ thuật cũng làm tăng ngân sách, nhưng khoản này hiếm khi nằm trong mục chi phí đã dự trù.

• Thời gian. Mất nhiều tháng trích xuất dữ liệu thay vì phân tích.
• Tiền bạc. Phí giấy phép bộ kết nối cộng với chi phí thuê tư vấn triển khai.
• Cơ hội. Việc cải tiến phải chờ trong lúc xây dựng luồng dữ liệu.
• Tinh thần. Nhóm mất đà khi dự án mắc kẹt ở khâu dữ liệu.
• Niềm tin. Các bên liên quan nghi ngờ giá trị của process mining khi dự án đầu tiên vượt ngân sách và tiến độ.

Một tổ chức chúng tôi từng làm việc cùng được nhà cung cấp hứa hẹn sẽ có kết quả phân tích đầu tiên sau ba tuần nhờ bộ kết nối SAP. Mười tám tháng sau, họ vẫn đang khắc phục chất lượng dữ liệu. Không phải lúc nào cũng xảy ra như vậy, nhưng đây là tình huống khá phổ biến. Vì thế, trước khi đề xuất bộ kết nối, chúng tôi luôn hỏi tổng chi phí sẽ là bao nhiêu.

Khi nào bộ kết nối thực sự đáng dùng?

Bộ kết nối có thể là lựa chọn phù hợp khi bạn cần trích xuất dữ liệu thường xuyên, với khối lượng lớn và theo cách lặp lại, đồng thời hệ thống nguồn được hỗ trợ tốt. Bộ kết nối cũng có thể phù hợp với môi trường chịu quy định, nơi tổ chức yêu cầu luồng dữ liệu được kiểm soát theo quy trình bảo mật và quản trị đã thiết lập.

Trong những trường hợp này, lợi ích đến từ việc lặp lại cùng một lần trích xuất theo thời gian. Bộ kết nối có thể giảm công việc thủ công định kỳ, miễn là hỗ trợ cấu hình hệ thống và đáp ứng yêu cầu dữ liệu của bạn.

Trước khi quyết định, hãy xác nhận bộ kết nối hỗ trợ phiên bản và cấu hình hệ thống nào, trích xuất dữ liệu gì, xử lý tùy chỉnh ra sao và ai sẽ chịu trách nhiệm bảo trì. Bộ kết nối chỉ hữu ích khi phù hợp với cách hệ thống và nhóm của bạn vận hành.

Khi nào bộ kết nối có thể vượt quá nhu cầu của bạn?

Nếu đây là lần đầu bạn tìm hiểu một câu hỏi về quy trình, có thể bạn chưa biết cần dữ liệu nào hoặc phân tích có hữu ích không. Xây dựng luồng dữ liệu định kỳ trước khi trả lời được những câu hỏi đó có thể khiến bạn phải làm thêm việc trước khi biết điều gì đáng tự động hóa.

Bộ kết nối cũng có thể chỉ bao phủ một phần quy trình trải qua nhiều hệ thống. Bạn vẫn có thể phải kết hợp dữ liệu, xử lý tên gọi khác nhau và kiểm định kết quả. Bộ kết nối cho một ứng dụng không tự giải quyết toàn bộ bài toán chuẩn bị dữ liệu.

Để phân tích lần đầu, một tệp xuất sẵn có có thể đủ để kiểm tra câu hỏi của bạn. Khi thấy dữ liệu còn thiếu gì, bạn có thể hoàn thiện bộ dữ liệu.

Ngay cả khi bộ kết nối phù hợp, bạn vẫn phải tính đến ba loại chi phí:

• Làm trùng công việc. Nhiều tổ chức đã có dữ liệu sạch, được chuẩn bị trong kho dữ liệu hoặc hồ dữ liệu bởi nhóm dữ liệu đã dành nhiều năm xử lý vấn đề chất lượng. Bộ kết nối bắt đầu lại từ đầu và có thể tạo ra dữ liệu không nhất quán với những gì doanh nghiệp vốn tin cậy.
• Cái bẫy ETL. Bộ kết nối thường đi kèm công cụ riêng của nhà cung cấp. Nhóm của bạn phải học một hệ thống độc quyền thay vì dùng hạ tầng họ đã vận hành và hiểu rõ.
• Cần cân nhắc nguy cơ bị phụ thuộc. Một luồng dữ liệu mất sáu tháng để xây dựng sẽ rất tốn kém nếu phải thay thế. Bạn nên biết điều đó trước khi cam kết.

Trích xuất dữ liệu theo thời gian thực cũng làm thay đổi cách phân tích. Bộ dữ liệu liên tục biến động khiến việc thiết lập mốc chuẩn khó hơn, luồng dữ liệu cần được theo dõi thường xuyên, chi phí xử lý vẫn tiếp tục phát sinh và việc so sánh giữa các giai đoạn trở nên phức tạp hơn. Nếu cập nhật hàng tháng đã đủ trả lời câu hỏi, luồng dữ liệu luôn chạy sẽ làm tăng chi phí mà không cung cấp thêm thông tin hữu ích.

Mẫu dữ liệu hoạt động ra sao?

Chúng tôi dùng mẫu dữ liệu để bạn bắt đầu từ dữ liệu sẵn có, thay vì phải dùng bộ kết nối có sẵn ngay từ đầu. Mẫu mô tả các trường cần cho một phân tích theo định dạng mà bạn hoặc nhóm dữ liệu có thể chuẩn bị.

Bắt đầu với hướng dẫn cho quy trình của bạn

Tìm quy trình hoặc hệ thống của bạn trong các hướng dẫn cải tiến quy trình. Mỗi hướng dẫn bao quát một quy trình hoặc một quy trình trên một hệ thống, gồm các thách thức, mục tiêu, hoạt động, yêu cầu dữ liệu và mẫu Excel để tải xuống.

Nếu không tìm thấy quy trình trong danh sách, hãy bắt đầu với mẫu dữ liệu chung. Dù chọn cách nào, các cột đều tương ứng với yêu cầu của phần phân tích. Nhóm của bạn chỉ cần điền dữ liệu từ tệp xuất, không phải tự thiết kế cấu trúc từ đầu.

Bắt đầu với Excel

Với nhiều kiểu phân tích, bạn có thể bắt đầu bằng bảng tính có Mã trường hợp, dấu thời gian và tên Hoạt động, cùng các thuộc tính khác liên quan đến câu hỏi của bạn. Xuất dữ liệu bạn có thể truy cập, sắp xếp theo mẫu, tải lên rồi bắt đầu khám phá.

Bạn không cần xây dựng luồng dữ liệu tự động hoàn chỉnh để thử một ý tưởng. Bộ dữ liệu đầu tiên có thể cần chỉnh sửa. Đó là một phần trong quá trình tìm hiểu yêu cầu của phần phân tích.

Bạn mới tìm hiểu về event log? Tìm hiểu cách tạo event log qua các ví dụ bằng Excel và SQL.

Bắt đầu với một bảng

Chúng tôi chủ động dùng định dạng một bảng cho hầu hết các phân tích.

1. Dễ kiểm tra. Ai cũng có thể mở bảng tính và xem dữ liệu đang thể hiện điều gì.
2. Dễ chuẩn bị. Không cần nối bảng hay quản lý mối quan hệ trước khi phân tích lần đầu.
3. Dù sao bước khai thác dữ liệu cũng sẽ gộp các bảng. Công cụ nhận nhiều bảng sẽ tạo một event log duy nhất trước khi phân tích.

Khi câu hỏi cần đến, bạn có thể làm việc với nhiều bảng trong ProcessMind, với các góc nhìn và quy trình khác nhau. Nhưng bạn không cần bắt đầu như vậy. Hãy chọn bộ dữ liệu đơn giản nhất có thể trả lời câu hỏi của mình.

Phối hợp với nhóm dữ liệu

Nhóm dữ liệu hiểu rõ cấu hình hệ thống, trường nào đáng tin cậy và dữ liệu nào đã có sẵn. Mẫu rõ ràng giúp họ biết chính xác cần chuẩn bị gì mà không phải học một mô hình dữ liệu độc quyền.

Họ có thể dùng các công cụ và hạ tầng quen thuộc như SQL, nền tảng ETL hiện có, kho dữ liệu và hồ dữ liệu. Nhờ vậy, bạn có thể tận dụng dữ liệu đáng tin cậy thay vì tạo thêm một luồng dữ liệu song song.

Để biết cách chuẩn bị event log, xem tài liệu chuẩn bị dữ liệu.

Dùng tính năng ánh xạ có AI hỗ trợ

Tên cột trong tệp xuất có thể không khớp chính xác với mẫu. Khi tải dữ liệu lên, ProcessMind thường nhận diện được các trường như ID trường hợp, dấu thời gian và Hoạt động. Nếu ánh xạ trường chưa đúng, bạn có thể tự điều chỉnh.

Nhờ vậy, bạn có thể chuyển từ tệp xuất sẵn có sang phân tích mà không cần định dạng hoàn hảo mọi tệp nguồn từ trước.

Trên thực tế, cập nhật dữ liệu ra sao?

Cập nhật theo lịch hữu ích khi bạn cần theo dõi quy trình thường xuyên. Nhưng không phải lúc nào cũng cần cập nhật liên tục để trả lời câu hỏi ban đầu hoặc so sánh hiệu quả theo thời gian.

Với nhiều phân tích, bộ dữ liệu ổn định được cập nhật theo lịch định sẵn sẽ dễ diễn giải hơn. Bạn có thể thiết lập mốc chuẩn, thực hiện thay đổi rồi so sánh kết quả với mốc đó. Tần suất phù hợp tùy thuộc vào mức độ thay đổi của quy trình và tốc độ bạn cần phản hồi.

Trước tiên, hãy xác định tần suất cần có dữ liệu mới cho phần phân tích. Nếu cập nhật hàng tháng hoặc hàng quý đã đủ trả lời câu hỏi, luồng dữ liệu theo thời gian thực có thể làm tăng công sức mà không giúp quyết định tốt hơn.

Nếu sau này cần tự động hóa thì sao?

Sau khi xác định được dữ liệu cần dùng và thấy phần phân tích hữu ích, nhóm dữ liệu có thể xây dựng quy trình tải dữ liệu lặp lại. ProcessMind có REST API để thực hiện việc này. Một tác vụ theo lịch mà nhóm bạn đang chạy có thể tải tệp xuất lên thành bộ dữ liệu mới hoặc cập nhật bộ dữ liệu hiện có. Tổng quan API trình bày cách xác thực và các endpoint.

Sản phẩm không có bộ lập lịch tích hợp, và đó là lựa chọn có chủ đích. Lịch chạy, thông tin xác thực và việc theo dõi vẫn nằm trong hạ tầng nhóm bạn đang vận hành, thay vì phải cấu hình và giám sát thêm một nơi khác.

Bạn không cần tự động hóa trước khi biết cần tự động hóa việc gì. Hãy bắt đầu bằng tệp xuất, kiểm chứng phần phân tích rồi quyết định có đáng xây dựng quy trình tải dữ liệu định kỳ không. Nếu cần tạo luồng dữ liệu, những điểm cần cân nhắc đã được trình bày trong bài ETL cho process mining.

Khi nào nên chọn nhà cung cấp có sẵn bộ kết nối?

Nhà cung cấp có sẵn bộ kết nối có thể là lựa chọn tốt hơn nếu bạn cần trích xuất dữ liệu định kỳ, có hỗ trợ từ hệ thống tương thích, và bộ kết nối đáp ứng yêu cầu cấu hình cùng quản trị của tổ chức. Điều này đặc biệt quan trọng với các lần tải dữ liệu thường xuyên hoặc luồng dữ liệu chịu quy định, khi tổ chức yêu cầu một cách tích hợp cụ thể.

Trước khi chọn, hãy hỏi bộ kết nối hỗ trợ những gì, xử lý tùy chỉnh ra sao, cần bảo trì thế nào và bạn có thể kiểm tra cũng như tái sử dụng dữ liệu đầu ra không. Nếu mục tiêu ban đầu là thử một cách phân tích, tệp xuất sẵn có cùng mẫu dữ liệu có thể là điểm bắt đầu đơn giản hơn.

Điểm khác biệt rất rõ: bộ kết nối có thể giảm công sức trích xuất lặp lại nếu phù hợp với nhu cầu của bạn; mẫu dữ liệu giúp bắt đầu từ dữ liệu sẵn có mà không cần mở đầu bằng một dự án xây dựng bộ kết nối. Dữ liệu vẫn thuộc về bạn, không bị khóa vào một nhà cung cấp, và bạn có thể quyết định sau có nên tự động hóa hay không.