Process Miningに最適なETL活用術

プロセスマイニングにおけるETL

プロセスマイニングはさまざまなシステム由来のデータに依存しており、ETLは重要な要素です。ETL（Extract, Transform, Loadの略）はデータウェアハウスプロセスで、データをソースシステムから抽出し、必要に応じて変換し、データウェアハウスやプロセスマイニングツールにロードします。このプロセスは、データを収集・クリーニング・整理・分析準備するために欠かせません。

ここでは、プロセスマイニングのためのETLを効果的に行うためのガイドを紹介します。

グローバルアプローチ

最も重要なルール:データ抽出を急いではいけません。データ抽出にはコストと時間がかかります。

まず、プロジェクトの目標を定義し、分析したいプロセスを特定します。1つのプロセスに絞り、BPMNモデルで簡単に概要を作成します。プロジェクト目標に合わせてモデルにデータを追加します。すぐに利用できるデータ（Excelファイル、簡単にエクスポート可能なデータ、他の分析で使用されたデータなど）から始めましょう。次に、データのギャップを特定し、目標達成に必要なデータだけを抽出します。「念のため」に全てのデータを集めるのはやめましょう。余分なデータはあなたの進行を遅らせます。継続的な改善サイクルのスピードは、多くの場合、実装よりもデータ収集に依存します。

シンプルなファイルアップロードから始めましょう。データが頻繁に更新され、継続的な分析が必要な場合のみ、自動化を行います。多くの場合、安定性のためには静的な分析が優先されます。どのアプローチを選んでも、進行を遅らせてはいけません。自動化に数週間を費やして誤ったデータがビジネスケースに不十分であることがわかるより、四半期ごとに数分でデータをアップロードする方が良いのです。

必要なデータは？

プロセスマイニングには特定のデータが必要です：ケースID、タイムスタンプ、およびアクティビティ。追加のデータ（コスト、ユーザー、チーム、CO2フットプリントなど）は分析を強化することができます。チャートのための追加次元やメトリクスのための追加測定も含めることができます。

必要なフィールドは共通であるため、プロセスマイニングデータの取得は通常簡単です。しかし、必要なすべてのデータを含む単一のデータセットを作成するのは難しく、しばしば個別の部分を1つのファイルに結合し統一するための大きな変換が必要です。

すべてを一度に持つことについて心配しないでください—持っているものから始めましょう。

必要なデータ形式は？

高度なデータ形式が存在しますが、多くのツールは依然としてシンプルなテキストファイルに依存しています。カンマ区切り（CSV）またはタブ区切り（TSV/TXT）ファイルを使用してください。多くのツールが処理できないため、固定幅のテキストファイルは避けましょう。

ファイルはヘッダー行から始まり、ヘッダーのフィールドと順序に一致するデータ行が続く必要があります。

非英文字が必要な場合はUTF-8エンコーディングを使用してください。フィールドにセパレータや改行文字を含まないようにしましょう。フィールドを囲うために引用符を使えますが、フィールド内に引用符を含めないようにしてください。必要に応じ、処理を簡素化するために引用符を他の文字で置き換えてください。

すぐに利用できるデータ

簡単にアクセスできるデータをリストアップすることから始めましょう。以下のソースを考慮してください：

• 生データを含む毎月または毎週のExcelレポート。必要に応じてExcelで再フォーマットを行います。
• 他のツールからのプロセスマイニングデータ。追加の前処理を必要としないことが多いです。
• HR、金融、ITSMシステムの標準的なエクスポートオプション。プロセスマイニングツールがサポートする形式にエクスポートします。
• 必要なデータを報告する分析ツールからのエクスポート。適切なフォーマットを作成するためにピボットテーブルとエクスポートを使用します。
• クリーンアップされ結合されたデータを持つデータウェアハウス。CSVとしてデータを選択しエクスポートするためにウェアハウスツールを使用します。

プロセスシステム

データはしばしばSAP、Workday、Salesforce、またはServiceNowのようなシステムに保存されています。最初に、シンプルなエクスポートであなたのニーズを満たすことができるか確認してください。これが最も迅速に価値を創出する方法です。それができない場合は、ETLツールを使用してデータを抽出、変換し、プロセスマイニングツールにロードします。

組織によっては、IT、システムオーナー、またはデータウェアハウスチームを巻き込む必要があるかもしれません。これによりデータ収集が遅れることがありますが、これらのチームを回避しないでください。彼らはプロセスを迅速化できる手順と経験を持っています。簡単に利用できるデータから始め、すべてを一度に要求することを避けることで、アジャイルなループでそれらと協力してください。これは遅延を引き起こす可能性があります。

初めはテキスト形式でデータを要求し、後にプロセスマイニングツールのAPIや組み込みETLツールで自動化します。

プロセスマイニングツールにおける組み込みETLツール

プロセスマイニングベンダーの組み込みETLツールは避けることをお勧めします。便利に見えますが、次のような大きな制限があります。

• 専用ETLツールに比べて品質が低い。
• SQLのような業界標準ではなく、独自技術を使用するため、トレーニングのニーズが増し、専門知識の利用が減ります。
• ベンダーロックインが発生し、ツールの乗り換えが困難になる。
• データサイロが作成され、他の分析やAIプロジェクトでのデータ再利用が制限されます。

サードパーティETLツール

多くのサードパーティETLツールはプロセスマイニング用途にも対応できます。プロセスマイニングは特定のdataが必要ですが、操作自体は一般的です。

ETLロジックの再利用や長期利用にはSQLベースのツールが便利です。自社ツール活用で新ツール導入による遅延も防げます。

プロセスマイニング対応の代表的ETLツール：

• CData：抽出性能が高く、他ツールと併用されやすい。
• dbt：SQLベースで大規模transform対応。
• BigQuery：GoogleのマネージドDWH。大規模データの高速SQLクエリに最適。
• Snowflake：クラウド型スケーラブルDWH。変換・分析に利用。
• DataBricks：データエンジニアリング・機械学習・分析の統合Analyticsプラットフォーム。
• Talend：様々なデータソース対応のグラフィカルETL。
• Apache Nifi：データフロー自動化・リアルタイム処理対応OSS ETLツール。

プロセスマイニング特化ETLツール

プロセスマイニング特化のETLツールは、サードパーティETLの利点とプロセスマイニング用機能・テンプレートを組み合わせています。

例：

• Evidant：Data Transform Refinery。大量データのプロセスマイニング用抽出・変換に特化。
• Konekti：プロセスデータモデルを正確かつ迅速に作成可能。

まとめ

ETLはプロセスマイニングプロジェクトの目的ではありませんが、しばしば必要なステップです。遅延を避けるためにETLプロセスを設定しましょう。

• すぐに利用できるデータを使用する。
• 手動アップロードから始め、適切な場合に自動化する。
• 既存のツールを使用し、SQLを好む。

特に重要なのは、必要なデータから小さく始め、段階的に拡大することです。前もってすべてのデータを収集しないようにしないと、プロジェクトが妨げられます。