プロセスマイニング向けETLツール

プロセスマイニングのETL

プロセスマイニングでは複数のシステムからデータを取得するため、ETLが重要な工程になります。ETLはExtract（抽出）、Transform（変換）、Load（読み込み）の略です。ソースシステムからデータを抽出し、分析用に変換したうえで、データウェアハウスやプロセスマイニングプラットフォームに読み込みます。このワークフローにより、データを収集、整理、構造化し、信頼性の高いプロセス分析に備えられます。

ここでは、プロセスマイニングでETLを効果的に使う方法を説明します。

全体的な進め方

最も重要な原則はシンプルです。データ抽出を急がないでください。時間とコストがかかるためです。

まず、プロジェクトの目標を定め、分析したいプロセスを特定します。1つのプロセスを選び、BPMNモデルで簡単な全体像を作成します。プロジェクトの目標に基づいて、モデルにデータを追加します。Excelファイル、簡単にエクスポートできるデータ、他の分析ですでに使っているデータなど、すぐに利用できるデータから始めてください。次にデータの不足を確認し、目標達成に必要なものだけを抽出します。「念のため」とすべてを集めたくなりますが、その必要はありません。データが多すぎると進行が遅くなります。継続的な改善サイクルの速さは、実装よりもデータ収集に左右されることがあります。

まずはシンプルなファイルアップロードから始めます。データが頻繁に変わり、継続的な分析が必要な場合など、必要性があるときだけデータ読み込みを自動化してください。多くの場合、静的な分析のほうが安定します。どちらの方法を選ぶ場合も、方法の検討に時間をかけすぎないことが大切です。数分で四半期ごとにデータをアップロードするほうが、何週間もかけて自動化した結果、データが不正確またはビジネス上の目的に不十分だと判明するよりも効果的です。

どのようなデータが必要ですか

プロセスマイニングには、ケースID、タイムスタンプ、アクティビティという3つのデータ項目が必要です。コスト、ユーザー、チーム、CO2排出量などの追加データがあれば、分析に文脈を加えられます。チャート用の追加ディメンションや、指標用の追加メジャーを含めることもできます。

プロセスマイニング用のデータを用意することは、必要な項目が一般的なものなので、通常は難しくありません。一方、必要なデータをすべて含む1つのデータセットを作成するのは、より難しい場合があります。複数のデータソースを1つのファイルにまとめ、形式を統一するために、大幅な変換が必要になることがあります。

最初からすべてをそろえる必要はありません。手元にあるデータから始めてください。

どのデータ形式が必要ですか

高度なデータ形式も利用できますが、多くのツールは現在もシンプルなテキストファイルを使用しています。カンマ区切り（CSV）またはタブ区切り（TSV／TXT）のファイルを使ってください。多くのツールで処理できない固定長テキストファイルは避けてください。

各ファイルはヘッダー行から始め、その後にヘッダー項目と順序が一致するデータ行を続けます。

日本語などの非英語文字を使う場合は、UTF-8エンコーディングを使用してください。項目内に区切り文字や改行文字が含まれていないことを確認します。項目を引用符で囲むことはできますが、項目内の引用符は避けてください。必要に応じて、処理を簡単にするため、項目内に含まれる引用符を別の文字に置き換えます。

すぐに利用できるデータ

まず、簡単にアクセスできるデータを一覧にします。次のようなデータソースを確認してください。

• 生のデータを含む月次または週次のExcelレポート。必要に応じて、Excelでデータの形式を整えます。
• 他のツールから取得したプロセスマイニング用データ。追加の前処理が不要なことも多くあります。
• 人事、財務、ITSMなどのシステムからの標準エクスポート。プロセスマイニングツールが対応する形式でデータをエクスポートします。
• 必要なデータをレポートする分析ツールからのエクスポート。ピボットテーブルとエクスポート機能を使い、適切な形式を作成します。
• クリーニングと統合が済んだデータを含むデータウェアハウス。ウェアハウスのツールでデータを選択し、CSVとしてエクスポートします。

プロセスシステム

データは、SAP、Workday、Salesforce、ServiceNowなどのシステムに保存されていることが多くあります。まず、単純なエクスポートで目的を達成できるか確認してください。通常、価値を生み出すまでの最も速い方法です。それで不十分な場合は、ETLツールを使ってデータを抽出、変換し、プロセスマイニングツールに読み込みます。

組織によっては、IT部門、システム所有者、データウェアハウス担当チームとの連携が必要になる場合があります。データ収集に時間がかかることもありますが、こうしたチームを飛ばしてはいけません。各チームには、作業を早める手順と経験があります。協力しながら、短いサイクルで進めてください。まずはすぐに利用できるデータから始め、最初からすべてを依頼しないようにします。一度に依頼すると、遅延につながる可能性があります。

まずはテキスト形式でデータを依頼してください。その後、プロセスマイニングツールのAPIまたは組み込みのETLツールを使って、作業を自動化します。

プロセスマイニングツールの組み込みETLツール

一般的には、プロセスマイニングベンダーが提供する組み込みETLツールの利用はおすすめしていません。便利に見える一方で、次のような大きな制約があるためです。

• 専用ETLツールより品質が低い。
• SQLなどの業界標準ではなく独自技術を使うため、トレーニングの負担が増え、専門知識を持つ人材も見つけにくい。
• ベンダーロックインが発生し、ツールを切り替えにくい。
• データサイロが生じ、他の分析やAIプロジェクトでデータを再利用しにくい。

サードパーティ製ETLツール

多くのサードパーティ製ETLツールは、プロセスマイニングに対応できます。プロセスマイニングには特定のデータが必要ですが、基盤となる処理は標準的なものです。

ETLロジックを再利用し、長期的に保守できるよう、SQLベースのツールを優先してください。新しい技術の導入による遅延やプロジェクトの停滞を避けるため、社内ですでに利用しているツールを使うことをおすすめします。

プロセスマイニングでよく使われるサードパーティ製ETLツールには、次のものがあります。

• CData：データ抽出に優れており、他のツールと組み合わせて使われることが多いツールです。
• dbt：SQLベースの変換ツールで、大規模な変換を処理する機能を備えています。
• BigQuery：Googleが提供するマネージド型データウェアハウスで、大規模なデータセットに対する高速なSQLクエリ向けに設計されています。
• Snowflake：拡張性の高いストレージとコンピューティングを提供するクラウドベースのプラットフォームで、データの変換や分析に使われます。
• DataBricks：データエンジニアリング、機械学習、分析を組み合わせた統合分析プラットフォームです。
• Talend：さまざまなデータソースに対応するグラフィカルなETLツールです。
• Apache Nifi：データフローの自動化とリアルタイム処理に対応するオープンソースのETLツールです。

プロセスマイニング向けの専用ETLツール

プロセスマイニング向けの専用ETLツールは、サードパーティ製ETLツールの利点に、プロセスマイニング機能とテンプレートを組み合わせたものです。

例として、次のツールがあります。

• Evidant：Data Transform Refinery。大規模なプロセスマイニングデータの抽出と変換に重点を置いています。
• Konekti：正確なプロセスデータモデルを短時間で作成できるよう設計されています。

データ読み込み後の管理

抽出はデータ管理の半分にすぎません。その後のデータセットの整理方法によって、分析の信頼性が保たれるかどうかが決まります。

• 内容に合わせてデータセットに名前を付けます。Q1_2025_Sales_DataまたはCustomer_Support_Logsのほうがexport_final_v3より適切です。関連するデータセットは色でまとめ、特定の役割を持つデータセットにはプロセスに即した名前を付けます。
• **目的に合った形式を選びます。**手動でアップロードする小規模から中規模のファイルにはCSVまたはExcelが適しています。大規模なデータセットや自動化されたパイプラインには、ParquetまたはORCが効果を発揮します。
• **分析前にプレビューします。**マッピングする前に、構造、列の型、数行分のデータを確認し、プロセスマイニングに必要な列（ケースID、アクティビティ、タイムスタンプ）（プロセスマイニングの項目）があることを確認します。
• **意図を持ってマッピングします。**自動マッピングで最初の処理を行い、その後未マッピングのアクティビティを確認します。通常、そこに重要なプロセスステップが隠れています。実際には存在するもののデータに記録が残らないステップは、データフロースルーとしてマークできます。数値を歪めずに可視性を保てます。
• **データを置き換えずに増やします。**定期的なエクスポートでは、ファイル全体を再アップロードするのではなく、増分読み込みで新しい行を追加します。
• **意図に応じて結合または分離します。**属性を共有するデータセットは、シミュレーションや分析用に1つのビューへ統合できます。大きく異なるデータセットは、フィルタリング用にそれぞれの属性を持たせて分けておくほうが適しています。
• **フィルターと指標を適切に管理します。**3月に役立ったフィルターが、6月のダッシュボードを分かりにくくすることがあります。答えを出した課題が終わったらフィルターを削除し、実際に参照される指標だけを表示します。
• **アクセスを管理してからアーカイブします。**データセットへのアクセスは必要な人に付与し、古くなったデータセットはアクティブなプロセスに残さずアーカイブします。

まとめ

ETLはプロセスマイニングプロジェクトの目的ではありませんが、多くの場合、欠かせません。遅延を避けるため、次の点を意識してETLプロセスを整備してください。

• すぐに利用できるデータを使う。
• まずは手動アップロードから始め、適切なタイミングで自動化する。
• 既存のツールを使い、特にSQLベースのツールを優先する。

何よりもまず、必要なデータを小さく始め、段階的に広げてください。最初からすべてを集めようとすると、プロジェクトが行き詰まる可能性があります。