イベントログで対応しているデータ形式

データのアップロードで対応しているファイル形式

ProcessMindでは、イベントログのアップロードにさまざまなファイル形式を使用できます。いずれの形式も、アプリのUIとAPIの両方からアップロードできます。

テキスト形式

• .csv：カンマ区切り値形式です。一般的でファイルサイズが小さく、ExcelやERPなど、ほとんどのシステムからエクスポートできます。区切り文字は自動検出されます。
• .tsv：タブ区切り値形式です。CSVと似ていますが、カンマの代わりにタブを使うため、データにカンマが含まれる場合に便利です。
• .txt：プレーンテキスト形式です。一貫した区切り形式で構成されていれば使用できます。
• .xes：プロセスマイニングツールで使われるイベントログの標準形式です。タイムスタンプやケースIDを含む詳細なアクティビティの記録に適しています。

Excel形式

• .xls：旧バージョンのExcel形式です。対応していますが、新しい形式より読み込みに時間がかかる場合があります。
• .xlsx：現在のExcel形式です。広く使われており、完全に対応しています。構造化データに適しています。
• .xlsb：Excelバイナリブック形式です。.xlsxより読み込みが速く、大規模データセットにも適していますが、対応していない環境もあります。

バイナリ／列指向データ形式

• .parquet：Apache Parquet形式です。分析処理に適した列指向のストレージ形式です。大規模なデータセットに適しており、ビッグデータではCSVより大幅に高速です。増分（差分）アップロードに対応しています。
• .orc：Optimized Row Columnar（ORC）形式です。HadoopやSparkのエコシステムで広く使われている、効率的な列指向形式です。増分（差分）アップロードに対応しています。
• .jsonl / .ndjson：JSON Lines形式です。各行が個別のJSONオブジェクトです。APIやログシステムからデータをストリーミング形式でエクスポートする場合に適しています。増分（差分）アップロードに対応しています。

圧縮ファイル

• .gz：gzip圧縮ファイルです。上記の形式は、data.csv.gzやdata.parquet.gzなど、いずれもgzip圧縮できます。ProcessMindは内部の形式を自動的に検出し、必要に応じて解凍します。大容量ファイルでは、gzip圧縮によってアップロード時間を短縮できます。

ファイル構造の基本要件

ProcessMindでプロセスマイニングを正しく行うには、アップロードするファイルが、Excel、テキスト、XMLのいずれの形式であっても、所定の構造要件を満たす必要があります。これにより、アプリがデータを正しく読み取り、適切に分析できます。

1. ヘッダー行（Excelまたはテキスト形式）

• ファイルの先頭にはヘッダー行が必要です。ヘッダー行は1行目に配置してください（Excelファイルの場合はセルA1、CSV、TSV、TXTファイルの場合は1行目）。ヘッダーには列名を指定し、各列のデータの種類がわかる名前を付けてください（例：「ケースID」「アクティビティ」「タイムスタンプ」）。
• CSV、TSV、TXT形式では、区切り文字と引用符が自動検出されるため、設定を手動で指定せずにデータをアップロードできます。
• Parquet形式とORC形式では、列名とデータ型がファイルに埋め込まれたスキーマから直接読み込まれるため、ヘッダー行は不要です。
• JSONL/NDJSON形式では、ファイルの1行目にあるJSONキーから列名が決まります。

2. 必須属性

プロセスマイニングのイベントログとして利用するには、ファイルに少なくとも次の属性（列）が必要です。列名は「ケースID」「アクティビティ」などと一致していなくてもかまいませんが、各列には指定された内容を含めてください。

• ケースID：各プロセスインスタンス（ケース）を一意に識別する列です。同じプロセスインスタンスに属する行には、すべて同じケースIDを指定してください。
• アクティビティ：記録対象となる具体的なアクティビティまたはイベントを示す列です（例：「注文作成」「支払い処理」）。
• タイムスタンプ：各アクティビティには、イベントが発生した正確な日時を示すタイムスタンプが必要です。
• メモ：タイムスタンプの形式は、可能な限り自動検出されます。yyyy-MM-dd HH:mm:ss、MM/dd/yyyyなどの一般的な形式も自動的に認識されます。
• 任意の属性：分析に役立つ列を追加できます。例：
• リソース：アクティビティを実行した人や部門を示します。
• コスト：アクティビティに関連する費用です。
• その他のカスタムデータ：必須列が含まれていれば、対象のプロセスに関係するカスタム項目を追加できます。

必要な列は、分析するプロセスによって異なります。プロセス改善ガイドでは、各プロセスに必要なスキーマ、必須フィールド、記録するアクティビティ、入力に使えるデータテンプレートを説明しています。

3. データの形式

• すべての列でデータの形式を統一してください。
• タイムスタンプには、yyyy-MM-dd HH:mm:ssなど、一般的で認識可能な形式を使用してください。異なる形式の場合も、ProcessMindが日付形式を自動検出します。
• データ行の間に空白行を入れないでください。インポートに影響する場合があります。
• 数値データ（コストや所要時間など）は、Excelでは数値として、CSV、TSV、TXTなどのテキスト形式では適切な形式で入力してください。
• CSV、TSV、TXT形式では、ProcessMindが区切り文字（カンマ、タブ、セミコロンなど）を自動検出し、引用符で囲まれたテキストも自動的に処理します。

4. シートの選択（Excelファイルのみ）

• ProcessMindは、名前にかかわらず、Excelファイル（XLS、XLSX、XLSB）の最初のシートからデータを自動的に処理します。必要なイベントログデータは最初のシートに配置してください。インポート時にほかのシートは読み込まれません。

5. XES形式

.xes（eXtensible Event Stream）は、プロセスマイニングのイベントログで使われる標準的なファイル形式です。ケースID、アクティビティ、タイムスタンプなど、プロセスインスタンスに関する詳細な属性を記録できます。

プロセスマイニングツールで広くサポートされており、実際のプロセスの動きを正確に再現するのに適しています。

技術仕様や詳細については、XES公式標準のウェブサイトをご覧ください。

6. Parquet、ORC、JSONL形式

ParquetとORCは、データエンジニアリングのパイプライン（Apache Spark、AWS Glue、Databricksなど）で広く使われている列指向のバイナリ形式です。スキーマ情報がファイルに含まれているため、ProcessMindが列名とデータ型を自動検出します。手動で設定する必要はありません。

JSONL（JSON Lines、NDJSONとも呼ばれます）ファイルには、1行につき1つのJSONオブジェクトが含まれます。各オブジェクトが1つのイベントを表し、JSONキーが列名になります。API、ログシステム、ストリーミングプラットフォームからデータをエクスポートする際によく使われる形式です。

3つの形式に共通する特長：

• UIとProcessMind APIの両方からアップロードできます
• 増分（差分）アップロードに対応しています
• 転送を高速化するため、gzip圧縮（.gz）できます

7. ヒント