Process mining을 위한 데이터 정리 및 준비

효과적인 process mining은 양질의 데이터에서 시작합니다. 대부분의 작업은 몇 가지 반복되는 문제를 해결하는 과정입니다. 기록되지 않은 이벤트, 시스템마다 일치하지 않는 식별자, 서로 다른 형식, 다루기에는 너무 크거나 민감한 데이터 추출본 등이 이에 해당합니다. 이 페이지에서는 이러한 문제와 해결 방법을 살펴봅니다. ProcessMind에서 같은 작업을 수행하는 방법은 데이터 세트 구성과 데이터 품질을 참고하세요.

데이터 정제와 준비가 중요한 이유는 무엇인가요?

process mining은 비즈니스 프로세스에서 발생한 활동의 상세 순서를 담은 데이터 세트인 이벤트 로그를 사용합니다. 데이터가 불완전하거나 일관되지 않거나 오류를 포함하면 분석 결과를 신뢰하기 어렵습니다. 데이터를 정제하고 올바른 구조로 정리하면 도구가 워크플로를 매핑하고 병목을 찾아 개선이 필요한 구간을 파악할 수 있습니다.

데이터 정제 및 준비의 주요 단계

1. 관련된 모든 시스템에서 데이터 수집하기

데이터는 보통 여러 시스템에서 가져옵니다. 예를 들어 주문과 송장은 ERP, 고객 관련 단계는 CRM, 문의는 서비스 데스크에 기록됩니다. 정제를 시작하기 전에 모든 시스템에서 데이터를 수집하세요. 제외한 시스템에 기록된 단계는 나중에 복구할 수 없습니다.

• 데이터 소스 통합: 프로세스의 일부를 기록하는 시스템을 확인하고 각 시스템에서 데이터를 추출합니다. 예를 들어 주문부터 현금 회수까지의 프로세스는 영업 시스템(예: Salesforce)과 재무 시스템(예: SAP)에 걸쳐 있을 수 있습니다.
• 사일로 해소: 프로세스 소유자와 협의해 포함할 시스템과 데이터 내보내기 권한을 정합니다. 데이터 누락은 쿼리 오류보다 보고되지 않은 시스템에서 발생하는 경우가 많습니다. 통합 도구(예: Apache NiFi, Talend, Informatica, Power BI)를 사용하면 여러 소스의 데이터를 하나의 파일로 합칠 수 있습니다.
• 추출할 수 없는 데이터에 대비: 전화 승인이나 종이 서명처럼 시스템 밖에서 진행되는 단계는 결과라도 디지털 시스템에 기록하거나, 프로세스 화면에 빠짐없이 나타나도록 해당 단계를 모델링합니다. 시스템별 데이터 소스는 데이터를 가져올 위치에서 확인하세요.

2. 중복 제거하기

중복 레코드는 활동 수를 부풀리고 이벤트 하나를 여러 건처럼 보이게 해 분석 결과를 왜곡합니다. 케이스 ID, 활동, 타임스탬프가 같은 레코드를 찾아 하나로 합치거나 제거하세요.

3. 누락된 데이터 처리하기

타임스탬프, 활동 또는 케이스 ID가 누락되면 이벤트 순서가 끊기고 프로세스 모델이 불완전해집니다.

• 누락된 값 확인: 비어 있는 타임스탬프, 활동 이름, 케이스 ID를 찾습니다.
• 누락된 값 보완: 가능한 경우 다른 데이터 소스나 업무 지식을 활용합니다. 타임스탬프 하나가 누락됐다면 앞뒤 이벤트의 시간으로 범위를 좁힐 수 있습니다.
• 임의로 만들지 말고 모델링: 기록 자체가 없는 단계는 타임스탬프를 만들어 내지 말고 프로세스 모델링으로 추가합니다. 그러면 데이터에서 발견한 프로세스와 문서화된 프로세스를 함께 확인할 수 있습니다.
• 대체하거나 제외: 중요한 값이 누락된 경우 평균 대체나 회귀 모델 같은 대체 기법을 사용합니다. 케이스를 복구할 수 없다면 제외하고 사유를 기록합니다.

4. 형식, ID, 이름 표준화하기

• 타임스탬프: 모든 데이터에 같은 형식을 사용합니다(예: YYYY-MM-DD HH:MM:SS). 추출본에 시간대가 섞여 있으면 모두 UTC로 변환합니다. 지원되는 날짜 형식 목록 보기
• 케이스 ID: 같은 프로세스라도 시스템마다 식별자가 다를 수 있습니다. 예를 들어 CRM에는 주문 번호가, 재무 시스템에는 송장 번호가 기록될 수 있습니다. 추출본이나 조회 테이블에 매핑을 만들어 모든 이벤트가 하나의 케이스에 연결되도록 하고, 각 프로세스 인스턴스에 고유 ID를 부여합니다. ProcessMind에서 결합하는 모든 데이터 세트의 케이스 ID 열이 같은 방식으로 매핑됐는지 확인하세요. 데이터 세트 속성을 참고하세요.
• 활동 이름: 시스템마다 같은 단계를 다르게 표시할 수 있습니다. 단계별로 이름을 하나로 통일합니다(“주문 승인”과 “주문 승인 처리”는 같은 활동입니다).
• 값과 데이터 유형: 비용, 기간, 금액 등의 수치는 숫자 형식으로 유지하고 열마다 단위를 통일합니다.

5. 관련 없는 이벤트 제거하기

기록된 이벤트가 모두 분석 대상 프로세스에 속하는 것은 아닙니다. 시스템 로그인, 기술적 재시도, 관리 작업은 유용한 정보를 더하지 않으면서 그래프를 복잡하게 만듭니다.

• 관련 없는 이벤트 필터링: 업무 지식을 바탕으로 프로세스를 설명하는 이벤트를 정하고 나머지는 제외합니다.
• 적절한 세분화 수준 선택: “주문 처리”처럼 너무 포괄적인 이벤트는 찾으려는 차이를 가립니다. 반대로 지나치게 세분화된 이벤트는 기술 세부 정보로 그래프를 복잡하게 만듭니다. 프로세스 전문가와 함께 낮은 수준의 이벤트를 해당 비즈니스 활동으로 묶을 기준을 정합니다.

6. 이상치와 노이즈 처리하기

이상치는 일반적인 프로세스 흐름을 왜곡할 수 있습니다. 드문 사건 때문에 작업 시간이 유난히 길어지면 평균값에 큰 영향을 줄 수 있습니다.

• 이상치 확인: 해당 단계의 일반적인 범위를 크게 벗어난 소요 시간을 표시합니다.
• 유지 여부 결정: 드물지만 중요한 실패처럼 실제 예외 상황은 유용한 정보일 수 있지만, 데이터 오류는 그렇지 않습니다. 불편하다는 이유가 아니라 잘못된 데이터만 제거하세요.

7. 이벤트 순서 확인하기

이벤트 순서가 뒤바뀌면 도구가 잘못된 흐름을 추적합니다.

• 순서 검증: 각 케이스의 이벤트가 타임스탬프 순서와 일치해야 합니다. 같은 케이스에서 “주문 생성”보다 “주문 승인”이 먼저 발생한 것으로 표시되면 타임스탬프를 확인해야 합니다.
• 타임스탬프순 정렬: 업로드 전에 타임스탬프 열을 기준으로 케이스별 이벤트를 정렬합니다.

8. 대용량 데이터 세트 처리하기

대용량 데이터 추출본은 준비와 업로드에 시간이 오래 걸립니다. 크기를 줄이려고 애쓰기보다 데이터 규모에 맞춰 작업을 계획하세요.

• 먼저 샘플로 확인하고, 분석할 때 전체 데이터 불러오기: 추출한 이벤트가 적절한지 확인하려면 대표 샘플이면 충분합니다. 분석에 필요할 때 전체 데이터를 불러오세요.
• 데이터를 나눠서 불러오기: 기존 데이터를 모두 교체하는 대신 증분(델타) 업로드로 새 기간의 데이터를 추가하세요.
• 컬럼형 파일 형식 사용하기: 대용량 데이터는 Parquet 및 ORC 파일이 CSV나 Excel보다 용량이 작고 업로드 속도가 빠릅니다. 자세한 내용은 지원되는 데이터 형식을 참조하세요.

9. 민감한 데이터 보호

이벤트 로그에는 이름, 주소, 고객 번호, 사용자 ID가 포함될 수 있으므로 추출 데이터를 개인정보로 취급하세요.

• 익명화하거나 마스킹하기: 분석에 필요하지 않은 정보는 삭제하거나 마스킹하고, 리소스 분석에 필요한 경우에만 사용자 ID를 유지하세요.
• 접근 제한하기: 추출 데이터는 업무상 필요한 최소한의 인원에게만 제공하고, 업로드한 데이터셋에는 역할 기반 접근 제어를 적용하세요.
• 관련 규정 준수하기: 보관 기간 제한, 전송 중 및 저장 데이터 암호화, 고객 데이터에 적용되는 GDPR 등의 규정을 확인하세요.

10. 이벤트 로그 만들기

데이터를 정제하고 일관된 순서로 정리한 다음, process mining의 기본 데이터 세트인 이벤트 로그를 만듭니다. 모든 로그에는 다음 항목이 필요합니다.

• 케이스 ID: 각 프로세스 인스턴스를 고유하게 식별합니다.
• 활동: 발생한 단계의 이름입니다.
• 타임스탬프: 이벤트가 발생한 시점으로, 이벤트 순서를 결정합니다.

선택 항목을 추가하면 분석에 더 많은 맥락을 담을 수 있습니다. 예를 들어 리소스(담당자 또는 팀), 부서, 비용, 또는 프로세스를 구분해 분석할 사용자 지정 속성을 추가할 수 있습니다. 전체 요건은 지원되는 데이터 형식에서 확인하세요.

11. 데이터 세트 검증

결과를 활용하기 전에 데이터셋이 분석하려는 프로세스를 제대로 나타내는지 확인하세요.

• 사례를 표본 점검하기: 몇 가지 프로세스 인스턴스를 처음부터 끝까지 살펴보고 이벤트 순서가 타당한지 확인하세요.
• 테스트 분석 실행하기: process mining을 한 번 실행해 명백히 잘못된 결과가 있는지 확인하세요. 발생하지 않는 활동, 잘못된 시작 또는 종료 이벤트, 종료되어야 하는데 남아 있는 사례 등을 살펴보세요.
• 프로세스 담당자에게 확인하기: 업무 전문가는 데이터가 실제 업무 흐름을 반영하는지 빠르게 판단할 수 있습니다.

ProcessMind에서 데이터 정제하기

위에서 설명한 준비 작업 중 상당 부분은 데이터를 업로드한 후 ProcessMind에서 처리할 수 있습니다.

• 컬럼 매핑 및 설정: 원본 파일을 다시 편집하지 않고 데이터셋 속성에서 표시 이름, 데이터 형식, 타임스탬프 형식을 설정하세요.
• 데이터 품질 확인: 데이터 품질 대시보드에서 누락값과 불일치를 확인하고 분석 전에 수정할 수 있습니다. AI 데이터 추천은 매핑과 수정 방법을 제안합니다.
• 불필요한 데이터 숨기기 또는 필터링하기: 데이터셋 속성에서 컬럼을 숨기고 필터를 사용해 필요하지 않은 이벤트를 제외하세요.
• 다시 업로드하지 않고 데이터 새로 불러오기: 기존 데이터를 그대로 교체하거나, 계속 늘어나는 데이터셋에는 증분(델타) 업로드를 사용하세요.

ProcessMind 외부에서 데이터를 정리하려면 업로드 전에 범용 도구(Python/Pandas, Excel 또는 Google Sheets, ETL 도구, OpenRefine)를 사용할 수 있습니다. 데이터 이름 지정, 형식, 증분 로드, 보관을 포함한 전체 절차는 process mining을 위한 ETL을 참조하세요.

관련 항목

• 데이터를 가져올 위치 - 시스템에서 단계별로 한 행씩 추출하는 방법
• 지원되는 데이터 형식 - 파일 형식과 구조 요건
• 데이터 품질 - 품질 배지의 확인 항목
• 데이터 문제 해결 - 증상별 해결 방법
• process mining을 위한 ETL - 데이터 준비 전반에 관한 안내