증분 데이터 불러오기

증분 데이터 로딩이란?

증분 데이터 로딩(delta loading이라고도 함)을 사용하면 기존 데이터를 교체하지 않고 데이터 테이블에 새 행을 추가할 수 있습니다. 이벤트 로그 데이터가 계속 늘어나는 경우 전체 데이터 세트를 다시 업로드하지 않고도 process mining 분석을 최신 상태로 유지할 수 있습니다.

주요 사용 사례는 다음과 같습니다.

• 일별 또는 주별 데이터 내보내기: 새 거래, 주문 또는 케이스가 생길 때마다 추가합니다.
• 지속적인 프로세스 모니터링: 새 데이터를 정기적으로 추가해 대시보드를 최신 상태로 유지합니다.
• 증가하는 이벤트 로그: ERP 시스템, CRM 도구 또는 기타 데이터 소스의 이벤트를 차례로 추가합니다.

요구 사항

• 데이터 테이블에 데이터가 포함된 초기 업로드가 있어야 합니다.
• Delta 파일은 원본 업로드와 형식이 같아야 합니다.
  • CSV 파일에는 CSV delta 파일을 사용해야 합니다.
  • Parquet 파일에는 Parquet delta 파일을 사용해야 합니다.
  • ORC 파일에는 ORC delta 파일을 사용해야 합니다.
  • JSONL 파일에는 JSONL delta 파일을 사용해야 합니다.
• Excel(XLSX/XLS/XLSB) 및 XES 파일은 delta 업로드를 지원하지 않습니다. 먼저 CSV로 변환하세요.
• Delta 파일의 열 이름은 원본 업로드와 일치해야 합니다.
• 내부 파일 형식이 원본 업로드 형식과 같다면 delta 파일을 gzip으로 압축할 수 있습니다(.gz).

증분 데이터 업로드

API로 업로드

ProcessMind API를 사용하면 delta 파일을 프로그래밍 방식으로 업로드할 수 있습니다. 엔드포인트에 관한 자세한 내용은 API Reference: Data 페이지를 참조하세요.

업로드 절차는 다음과 같습니다.

1. delta 파일용 사전 서명 업로드 URL을 가져옵니다.

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. 사전 서명 URL을 사용해 delta 파일을 업로드합니다.

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

업로드가 완료되면 ProcessMind가 delta를 자동으로 처리해 원본 데이터와 결합합니다. 처리가 끝났는지 확인하려면 GET /datatables/{dataTableId}을 폴링해 hasDataLoaded이 true인지 확인하세요.

UI에서 업로드

ProcessMind 애플리케이션에서 데이터 세트의 일반 탭을 통해서도 데이터를 추가로 불러올 수 있습니다.

1. 추가 스위치를 켜 업로드 영역을 데이터 바꾸기에서 데이터 추가로 전환합니다.
2. 새 파일을 데이터 추가 영역에 끌어다 놓습니다. 또는 영역을 클릭해 파일을 찾아 선택합니다.

ProcessMind는 파일을 delta로 업로드하고 기존 데이터와 함께 처리합니다. Delta 업로드는 사용자가 직접 선택해야 합니다. 일반적인 교체 업로드에서 delta 파일을 자동으로 감지하지 않습니다.

업로드 항목 확인

증분 업로드를 한 번 이상 수행하면 데이터 테이블의 업로드 기록에 각 파일을 추적하는 uploadParts 배열이 표시됩니다.

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

권장 사항

• 모든 파일에서 열 이름을 일관되게 사용해 데이터 정렬 문제를 방지합니다.
• 가능하면 시간순으로 업로드해 업로드 기록에 데이터의 시간 흐름이 반영되도록 합니다.
• Delta 파일 크기를 적절하게 유지합니다. 데이터를 적당한 크기로 나눠 업로드하세요. 작은 파일을 지나치게 많이 업로드하면 처리가 느려질 수 있습니다.
• 각 delta 업로드 후 행 수를 확인해 데이터가 올바르게 로드됐는지 검증합니다.

스키마가 일치하지 않을 때의 동작

ProcessMind는 업로드 항목 간에 스키마가 완전히 일치하는지 강제하지 않습니다. 따라서 다음과 같이 처리됩니다.

• 추가 열은 처리 중 무시됩니다. 원본 업로드 스키마에 있는 열만 사용합니다.
• 누락된 열이 있으면 해당 delta 행의 필드 값은 null 또는 빈 값이 됩니다.
• 열 이름이 다른 경우에는 서로 다른 열로 처리됩니다. 따라서 delta 행의 예상 열에는 null 값이 입력됩니다.

최상의 결과를 얻으려면 모든 delta 파일의 열 구조를 원본 업로드와 동일하게 맞추세요.