Czyszczenie i przygotowanie danych do process mining

Skuteczny process mining zaczyna się od dobrej jakości danych. Najczęściej trzeba rozwiązać kilka powtarzających się problemów: zdarzenia, których nie zarejestrowano, identyfikatory niezgodne między systemami, różnice w formatach oraz eksporty zbyt duże lub wrażliwe, by traktować je bez odpowiednich zabezpieczeń. Ta strona omawia te problemy i sposoby ich rozwiązania. Informacje o wykonywaniu tych czynności w ProcessMind można znaleźć w sekcjach Konfigurowanie zbioru danych i Jakość danych.

Dlaczego czyszczenie i przygotowanie danych jest ważne?

Process mining opiera się na dziennikach zdarzeń, czyli zbiorach danych zawierających szczegółową sekwencję działań w procesie biznesowym. Jeśli dane są niekompletne, niespójne lub zawierają błędy, uzyskane wnioski będą niewiarygodne. Odpowiednio uporządkowane dane pozwalają narzędziu mapować workflow, wykrywać wąskie gardła i wskazywać obszary wymagające poprawy.

Najważniejsze etapy czyszczenia i przygotowania danych

1. Zbierz dane ze wszystkich używanych systemów

Dane zwykle pochodzą z kilku systemów: ERP obsługuje zamówienia i faktury, CRM rejestruje etapy obsługi klienta, a system service desk przechowuje zgłoszenia. Zbierz dane ze wszystkich tych źródeł przed rozpoczęciem czyszczenia. Jeśli pominą Państwo system, później nie będzie można odzyskać zarejestrowanego w nim etapu.

• Połącz źródła danych: sporządź listę systemów rejestrujących poszczególne części procesu i wyeksportuj dane z każdego z nich. Na przykład proces od zamówienia do płatności może obejmować system sprzedaży (np. Salesforce) i system finansowy (np. SAP).
• Zlikwiduj silosy: uzgodnij z właścicielami procesu, które systemy należy uwzględnić i kto może eksportować z nich dane. Brakujące dane zwykle pochodzą z pominiętego systemu, a nie z błędnego zapytania. Narzędzia integracyjne, takie jak Apache NiFi, Talend, Informatica lub Power BI, mogą połączyć kilka źródeł w jeden plik.
• Zaplanuj, jak ująć dane, których nie można wyeksportować: jeśli etap odbywa się poza systemem, na przykład zatwierdzenie przez telefon lub podpis na papierze, zapisz przynajmniej jego wynik w systemie cyfrowym albo zamodeluj ten etap, aby zachować pełny obraz procesu. Informacje o źródłach danych dla poszczególnych systemów zawiera sekcja Skąd pobrać dane.

2. Usuń duplikaty

Zduplikowane rekordy zniekształcają analizę, zawyżając liczbę działań i sprawiając, że jedno zdarzenie wygląda jak kilka. Wyszukaj rekordy o identycznym identyfikatorze sprawy, działaniu i znaczniku czasu, a następnie usuń je lub połącz w jeden wiersz.

3. Uzupełnij brakujące dane

Brakujące znaczniki czasu, działania lub identyfikatory spraw zakłócają sekwencję zdarzeń i prowadzą do niekompletnych modeli procesów.

• Znajdź brakujące wartości: wyszukaj puste znaczniki czasu, nazwy działań i identyfikatory spraw.
• Uzupełnij braki: jeśli to możliwe, skorzystaj z innych źródeł lub wiedzy o procesie. Gdy brakuje jednego znacznika czasu, można oszacować jego wartość na podstawie czasu poprzedzających i kolejnych zdarzeń.
• Zamodeluj brakujący etap zamiast wymyślać dane: jeśli etapu w ogóle nie zarejestrowano, dodaj go za pomocą modelowania procesów zamiast tworzyć fikcyjne znaczniki czasu. Dzięki temu przebieg odtworzony z danych będzie zgodny z udokumentowanym procesem.
• Uzupełnij lub usuń: w przypadku istotnych braków zastosuj metodę imputacji, na przykład zastąpienie średnią lub model regresji. Jeśli nie można odzyskać danych sprawy, usuń ją i zapisz przyczynę.

4. Ujednolić formaty, identyfikatory i nazwy

• Znaczniki czasu: stosuj jeden format w całym zbiorze, na przykład YYYY-MM-DD HH:MM:SS. Jeśli eksport zawiera różne strefy czasowe, przelicz wszystkie wartości na UTC. Zobacz listę obsługiwanych formatów daty
• Identyfikatory spraw: ta sama sprawa może mieć różne identyfikatory w poszczególnych systemach, na przykład numer zamówienia w CRM i numer faktury w systemie finansowym. Utwórz mapowanie między nimi, w eksporcie lub w tabeli referencyjnej, aby przypisać każde zdarzenie do jednej sprawy. Każda instancja procesu powinna mieć unikalny identyfikator. W ProcessMind sprawdź, czy kolumna identyfikatora sprawy jest mapowana w ten sam sposób we wszystkich łączonych zbiorach danych. Zobacz atrybuty zbioru danych.
• Nazwy działań: systemy mogą różnie nazywać ten sam etap. Ustal jedną nazwę dla każdego działania. „Zatwierdź zamówienie” i „Zatwierdzenie zamówienia” oznaczają to samo działanie.
• Wartości i typy danych: zapisuj liczby jako liczby, na przykład koszty, czasy trwania i kwoty. W każdej kolumnie stosuj jedną jednostkę.

5. Usuń nieistotne zdarzenia

Nie każde zarejestrowane zdarzenie należy do analizowanego procesu. Logowania do systemu, techniczne ponowienia i zadania administracyjne zaśmiecają mapę, nie wnosząc przydatnych informacji.

• Odfiltruj zdarzenia niezwiązane z procesem: wykorzystaj wiedzę o procesie, aby określić, które zdarzenia go opisują, i wyklucz pozostałe.
• Dobierz odpowiedni poziom szczegółowości: zbyt ogólne zdarzenia, takie jak „obsługa zamówienia”, ukrywają poszukiwane różnice. Z kolei zbyt szczegółowe zdarzenia zaśmiecają mapę informacjami technicznymi. Połącz zdarzenia niskiego poziomu w działania biznesowe, a granicę ustal wspólnie z ekspertami procesu.

6. Sprawdź wartości odstające i szum w danych

Wartości odstające zniekształcają obraz typowego przebiegu procesu. Zadanie, które trwało wyjątkowo długo z powodu rzadkiego zdarzenia, może znacząco zawyżyć średnią.

• Znajdź wartości odstające: oznacz czasy trwania znacznie odbiegające od typowego zakresu dla danego etapu.
• Zdecyduj, czy je zachować: rzeczywisty wyjątek, na przykład rzadko występująca, ale poważna awaria, może dostarczyć cennych informacji. Błąd danych nie. Usuwaj tylko nieprawidłowe dane, a nie te, które są niewygodne.

7. Sprawdź kolejność zdarzeń

Jeśli zdarzenia występują w niewłaściwej kolejności, narzędzie odtworzy błędny przebieg.

• Sprawdź sekwencję: zdarzenia w każdej sprawie powinny być uporządkowane według znaczników czasu. Jeśli zdarzenie „Zatwierdzenie zamówienia” występuje przed „Utworzeniem zamówienia” w tej samej sprawie, trzeba sprawdzić znaczniki czasu.
• Sortuj według znacznika czasu: przed przesłaniem danych uporządkuj zdarzenia każdej sprawy według kolumny ze znacznikiem czasu.

8. Przygotuj duże zbiory danych

Duże eksporty wymagają więcej czasu na przygotowanie i przesłanie. Zaplanuj pracę z uwzględnieniem ich rozmiaru, zamiast próbować go ignorować.

• Najpierw próbka, potem pełny zbiór: reprezentatywna próbka wystarczy, by sprawdzić, czy wyodrębnione zdarzenia mają sens. Pełny zbiór warto wczytać, gdy wymaga tego analiza.
• Wczytuj dane przyrostowo: zamiast zastępować cały zbiór, dodawaj kolejne okresy za pomocą przyrostowego wczytywania danych (delta).
• Wybieraj formaty kolumnowe: pliki Parquet i ORC są mniejsze i wczytują się szybciej niż CSV lub Excel przy dużych wolumenach danych. Zobacz Obsługiwane formaty danych.

9. Chroń dane wrażliwe

Dzienniki zdarzeń mogą zawierać imiona i nazwiska, adresy, numery klientów oraz identyfikatory użytkowników, dlatego należy traktować wyodrębnione dane jako dane osobowe.

• Anonimizuj lub maskuj dane: usuń albo zamaskuj informacje, których analiza nie wymaga. Identyfikatory użytkowników zachowuj tylko wtedy, gdy potrzebna jest analiza zasobów.
• Ogranicz dostęp: udostępniaj wyodrębnione dane jak najmniejszej liczbie osób, tylko gdy jest to niezbędne. W przypadku przesłanych zbiorów danych stosuj kontrolę dostępu opartą na rolach.
• Przestrzegaj obowiązujących zasad: limitów przechowywania danych, szyfrowania podczas przesyłania i przechowywania oraz przepisów dotyczących danych klientów, takich jak RODO.

10. Utwórz dziennik zdarzeń

Gdy dane są już oczyszczone, spójne i uporządkowane, utwórz dziennik zdarzeń, czyli podstawowy zbiór danych wykorzystywany w process mining. Każdy dziennik musi zawierać:

• Identyfikator sprawy: unikalny identyfikator każdej instancji procesu.
• Aktywność: nazwa wykonanego kroku.
• Znacznik czasu: informacja, kiedy zdarzenie wystąpiło, która określa kolejność zdarzeń.

Dodatkowe kolumny dostarczają więcej informacji: zasób (osoba lub zespół), dział, koszt lub dowolny własny atrybut, według którego można analizować proces. Pełną listę wymagań zawiera strona Obsługiwane formaty danych.

11. Sprawdź poprawność zbioru danych

Zanim oprą Państwo decyzje na wynikach, sprawdźcie, czy zbiór danych rzeczywiście odzwierciedla analizowany proces.

• Sprawdź wybrane sprawy: prześledź kilka instancji procesu od początku do końca i upewnij się, że sekwencje zdarzeń są logiczne.
• Przeprowadź analizę testową: przeanalizuj proces i poszukaj oczywistych nieprawidłowości, takich jak aktywności, które nigdy nie występują, błędne zdarzenie początkowe lub końcowe albo sprawy, które powinny być zamknięte.
• Potwierdź wyniki z właścicielami procesu: eksperci biznesowi szybko ocenią, czy dane odzwierciedlają rzeczywisty przebieg pracy.

Oczyszczanie danych w ProcessMind

Wiele opisanych wyżej czynności przygotowawczych można wykonać w ProcessMind po przesłaniu danych:

• Mapuj i konfiguruj kolumny: ustaw nazwy wyświetlane, typy danych i formaty znaczników czasu w atrybutach zbioru danych, zamiast przerabiać plik źródłowy.
• Sprawdzaj jakość: dashboard Jakość danych wskazuje braki i niespójności, które można poprawić przed analizą. Rekomendacje AI dotyczące danych podpowiadają mapowania i poprawki.
• Ukrywaj lub filtruj nieistotne dane: ukrywaj kolumny w atrybutach zbioru danych i używaj filtrów, aby wykluczyć niepotrzebne zdarzenia.
• Wczytuj dane ponownie zamiast przesyłać je od nowa: zastąp dane w istniejącym zbiorze albo użyj przyrostowego wczytywania danych (delta) w przypadku stale rosnących zbiorów.

Dane można też oczyścić przed przesłaniem do ProcessMind za pomocą narzędzi ogólnego przeznaczenia, takich jak Python/Pandas, Excel, Google Sheets, narzędzia ETL czy OpenRefine. Szerszy przewodnik po nazewnictwie, formatach, wczytywaniu przyrostowym i archiwizacji zawiera strona ETL dla process mining.

Powiązane tematy

• Skąd pobrać dane - wyodrębnianie z systemów jednego wiersza na każdy krok
• Obsługiwane formaty danych - typy plików i wymagania dotyczące ich struktury
• Jakość danych - co sprawdza wskaźnik jakości modelu
• Rozwiązywanie problemów z danymi - rozwiązania typowych problemów
• ETL dla process mining - szerszy przewodnik po przygotowaniu danych