이벤트 로그에 지원되는 데이터 형식

데이터 업로드에 지원되는 파일

ProcessMind는 다양한 파일 형식의 이벤트 로그 업로드를 지원합니다. 모든 형식은 앱 UI와 API를 통해 업로드할 수 있습니다.

텍스트 기반 형식

• .csv: 쉼표로 구분된 값 형식입니다. 용량이 작고 널리 사용되며, Excel, ERP 등 대부분의 시스템에서 내보낼 수 있습니다. 구분자는 자동으로 감지됩니다.
• .tsv: 탭으로 구분된 값 형식입니다. CSV와 비슷하지만 쉼표 대신 탭을 사용하므로 데이터에 쉼표가 포함된 경우 유용합니다.
• .txt: 일반 텍스트 파일입니다. 일관된 구분 형식으로 구성하면 사용할 수 있습니다.
• .xes: process mining 도구에서 사용하는 이벤트 로그 표준 형식입니다. 타임스탬프와 Case ID를 포함해 활동을 상세히 기록하는 데 적합합니다.

Excel形式

• .xls: 이전 버전의 Excel 스프레드시트 형식입니다. 지원되지만 최신 형식보다 로드 속도가 느릴 수 있습니다.
• .xlsx: 최신 Excel 형식입니다. 널리 사용되며 완벽하게 지원되고, 구조화된 데이터에 주로 사용됩니다.
• .xlsb: Excel 바이너리 통합 문서 형식입니다. .xlsx보다 빠르게 로드되고 대용량 데이터 처리에 적합하지만, 지원 범위는 상대적으로 좁습니다.

바이너리 및 열 기반 데이터 형식

• .parquet: Apache Parquet 형식입니다. 분석 작업에 최적화된 컬럼형 저장 형식으로, 대용량 데이터에 적합하며 대규모 데이터에서는 CSV보다 훨씬 빠릅니다. 증분(델타) 업로드를 지원합니다.
• .orc: Optimized Row Columnar(ORC) 형식입니다. Hadoop 및 Spark 환경에서 널리 사용하는 효율적인 컬럼형 형식입니다. 증분(델타) 업로드를 지원합니다.
• .jsonl / .ndjson: JSON Lines 형식입니다. 각 줄이 별도의 JSON 객체로 구성됩니다. API 및 로깅 시스템에서 데이터를 스트리밍 방식으로 내보낼 때 적합합니다. 증분(델타) 업로드를 지원합니다.

압축 파일

• .gz: Gzip으로 압축한 파일입니다. 위에서 설명한 모든 형식을 gzip으로 압축할 수 있습니다(예: data.csv.gz, data.parquet.gz). ProcessMind가 내부 파일 형식을 자동으로 감지하고 필요한 경우 압축을 풉니다. 대용량 파일은 gzip으로 압축하면 업로드 시간을 줄일 수 있습니다.

일반 파일 구조 요건

ProcessMind에서 process mining을 제대로 수행하려면 업로드하는 파일이 Excel, 텍스트 기반, XML 형식 중 무엇이든 정해진 구조 요건을 따라야 합니다. 그래야 앱이 데이터를 올바르게 해석하고 정확하게 분석할 수 있습니다.

1. 헤더 행(Excel 또는 텍스트 기반 파일)

• 파일의 첫 줄에는 헤더 행이 있어야 합니다(예: Excel 파일의 A1 셀, CSV·TSV·TXT 파일의 1행). 헤더에는 열 이름이 들어가야 하며, 각 열의 데이터 유형이 분명히 드러나야 합니다(예: “케이스 ID”, “활동”, “타임스탬프”).
• CSV, TSV, TXT 형식은 구분 기호와 따옴표를 자동으로 감지하므로 설정을 직접 지정하지 않아도 데이터를 쉽게 업로드할 수 있습니다.
• Parquet 및 ORC 형식은 파일에 내장된 스키마에서 열 이름과 데이터 유형을 직접 읽으므로 헤더 행이 필요하지 않습니다.
• JSONL/NDJSON 형식의 열 이름은 파일 첫 줄에 있는 JSON 키에서 가져옵니다.

2. 必須属性

process mining의 이벤트 로그 구조를 지원하려면 파일에 최소한 다음 속성(열)이 포함되어야 합니다. 열 이름이 케이스 ID, 활동 등과 정확히 일치할 필요는 없지만, 지정된 내용은 포함해야 합니다.

• 케이스 ID: 각 프로세스 인스턴스(케이스)를 고유하게 식별하는 열입니다. 같은 프로세스 인스턴스에 해당하는 모든 행에는 동일한 케이스 ID가 있어야 합니다.
• 활동: 기록된 구체적인 활동이나 이벤트를 나타내는 열입니다(예: “Order Created”, “Payment Processed”).
• 타임스탬프: 각 활동에는 이벤트가 발생한 정확한 시각이나 날짜를 나타내는 타임스탬프가 있어야 합니다.
• 참고: 타임스탬프 형식은 가능한 범위에서 자동 감지됩니다. yyyy-MM-dd HH:mm:ss, MM/dd/yyyy 등의 일반적인 형식은 자동으로 인식됩니다.
• 선택 속성: 분석에 도움이 되는 다음과 같은 열을 추가할 수 있습니다.
• 리소스: 활동을 수행한 사용자나 부서를 나타냅니다.
• 비용: 활동에 관련된 비용입니다.
• 기타 사용자 지정 데이터: 필수 열이 포함되어 있다면 해당 프로세스에 필요한 사용자 지정 필드를 추가할 수 있습니다.

필요한 컬럼은 분석하는 프로세스에 따라 다릅니다. 프로세스 개선 가이드에서 프로세스별 스키마와 필수 필드, 기록할 활동, 작성 가능한 데이터 템플릿을 확인하세요.

3. 데이터 형식 지정

• 모든 컬럼의 데이터 형식을 일관되게 지정하세요.
• 타임스탬프는 yyyy-MM-dd HH:mm:ss와 같이 표준 형식으로 입력하세요. 다른 날짜 형식도 ProcessMind가 자동 감지를 시도합니다.
• 데이터 행 사이에 빈 행을 넣지 마세요. 가져오기에 문제가 생길 수 있습니다.
• 숫자 데이터(예: 비용, 기간)는 Excel에서 숫자 형식으로 지정하거나 텍스트 기반 파일(CSV, TSV, TXT)에 올바른 형식으로 입력하세요.
• CSV, TSV, TXT 형식은 ProcessMind가 구분자(쉼표, 탭, 세미콜론 등)를 자동 감지하고 따옴표로 묶인 텍스트를 자동으로 처리합니다.

4. 시트 선택(Excel 파일만 해당)

• ProcessMind는 이름과 관계없이 Excel 파일(XLS, XLSX, XLSB)의 첫 번째 시트에 있는 데이터를 자동으로 처리합니다. 필요한 이벤트 로그 데이터를 첫 번째 시트에 배치하세요. 가져오는 동안 다른 시트는 처리하지 않습니다.

5. XES形式

.xes(eXtensible Event Stream) 형식은 process mining에서 이벤트 로그에 사용하는 표준 파일 형식입니다. 케이스 ID, 활동, 타임스탬프 및 기타 관련 속성처럼 프로세스 인스턴스에 관한 상세 정보를 담습니다.

process mining 도구에서 널리 지원되며 실제 프로세스 동작을 정확하게 재구성하는 데 적합합니다.

기술 사양과 자세한 내용은 공식 XES 표준 웹사이트에서 확인하세요.

6. Parquet、ORC、JSONL形式

Parquet 및 ORC는 데이터 엔지니어링 파이프라인(Apache Spark, AWS Glue, Databricks 등)에서 널리 사용하는 컬럼형 바이너리 형식입니다. 파일에 스키마 정보가 포함되어 있어 ProcessMind가 별도 설정 없이 컬럼 이름과 데이터 형식을 자동으로 감지합니다.

JSONL(JSON Lines, NDJSON이라고도 함) 파일은 한 줄에 JSON 객체 하나를 포함합니다. 각 객체는 단일 이벤트를 나타내며, JSON 키가 컬럼 이름이 됩니다. API, 로깅 시스템, 스트리밍 플랫폼에서 데이터를 내보낼 때 흔히 사용하는 형식입니다.

세 형식 모두:

• UI와 ProcessMind API를 통한 업로드
• 증분(델타) 업로드
• 전송 속도를 높이기 위한 gzip 압축(.gz)

7. 팁