Process MiningにおけるETL活用法

プロセスマイニングにおけるETL

プロセスマイニングはさまざまなシステム由来のデータに依存しており、ETLは重要な要素です。ETL（Extract, Transform, Loadの略）はデータウェアハウスプロセスで、データをソースシステムから抽出し、必要に応じて変換し、データウェアハウスやプロセスマイニングツールにロードします。このプロセスは、データを収集・クリーニング・整理・分析準備するために欠かせません。

ここでは、プロセスマイニングのためのETLを効果的に行うためのガイドを紹介します。

グローバルアプローチ

最も重要なルール:データ抽出を急いではいけません。データ抽出にはコストと時間がかかります。

まず、プロジェクトの目標を定義し、分析したいプロセスを特定します。1つのプロセスに絞り、BPMNモデルで簡単に概要を作成します。プロジェクト目標に合わせてモデルにデータを追加します。すぐに利用できるデータ（Excelファイル、簡単にエクスポート可能なデータ、他の分析で使用されたデータなど）から始めましょう。次に、データのギャップを特定し、目標達成に必要なデータだけを抽出します。「念のため」に全てのデータを集めるのはやめましょう。余分なデータはあなたの進行を遅らせます。継続的な改善サイクルのスピードは、多くの場合、実装よりもデータ収集に依存します。

シンプルなファイルアップロードから始めましょう。データが頻繁に更新され、継続的な分析が必要な場合のみ、自動化を行います。多くの場合、安定性のためには静的な分析が優先されます。どのアプローチを選んでも、進行を遅らせてはいけません。自動化に数週間を費やして誤ったデータがビジネスケースに不十分であることがわかるより、四半期ごとに数分でデータをアップロードする方が良いのです。

必要なデータは？

プロセスマイニングには特定のデータが必要です：ケースID、タイムスタンプ、およびアクティビティ。追加のデータ（コスト、ユーザー、チーム、CO2フットプリントなど）は分析を強化することができます。チャートのための追加次元やメトリクスのための追加測定も含めることができます。

必要なフィールドは共通であるため、プロセスマイニングデータの取得は通常簡単です。しかし、必要なすべてのデータを含む単一のデータセットを作成するのは難しく、しばしば個別の部分を1つのファイルに結合し統一するための大きな変換が必要です。

すべてを一度に持つことについて心配しないでください—持っているものから始めましょう。

必要なデータ形式は？

高度なデータ形式が存在しますが、多くのツールは依然としてシンプルなテキストファイルに依存しています。カンマ区切り（CSV）またはタブ区切り（TSV/TXT）ファイルを使用してください。多くのツールが処理できないため、固定幅のテキストファイルは避けましょう。

ファイルはヘッダー行から始まり、ヘッダーのフィールドと順序に一致するデータ行が続く必要があります。

非英文字が必要な場合はUTF-8エンコーディングを使用してください。フィールドにセパレータや改行文字を含まないようにしましょう。フィールドを囲うために引用符を使えますが、フィールド内に引用符を含めないようにしてください。必要に応じ、処理を簡素化するために引用符を他の文字で置き換えてください。

すぐに利用できるデータ

簡単にアクセスできるデータをリストアップすることから始めましょう。以下のソースを考慮してください：

• 生データを含む毎月または毎週のExcelレポート。必要に応じてExcelで再フォーマットを行います。
• 他のツールからのプロセスマイニングデータ。追加の前処理を必要としないことが多いです。
• HR、金融、ITSMシステムの標準的なエクスポートオプション。プロセスマイニングツールがサポートする形式にエクスポートします。
• 必要なデータを報告する分析ツールからのエクスポート。適切なフォーマットを作成するためにピボットテーブルとエクスポートを使用します。
• クリーンアップされ結合されたデータを持つデータウェアハウス。CSVとしてデータを選択しエクスポートするためにウェアハウスツールを使用します。

プロセスシステム

データはしばしばSAP、Workday、Salesforce、またはServiceNowのようなシステムに保存されています。最初に、シンプルなエクスポートであなたのニーズを満たすことができるか確認してください。これが最も迅速に価値を創出する方法です。それができない場合は、ETLツールを使用してデータを抽出、変換し、プロセスマイニングツールにロードします。

組織によっては、IT、システムオーナー、またはデータウェアハウスチームを巻き込む必要があるかもしれません。これによりデータ収集が遅れることがありますが、これらのチームを回避しないでください。彼らはプロセスを迅速化できる手順と経験を持っています。簡単に利用できるデータから始め、すべてを一度に要求することを避けることで、アジャイルなループでそれらと協力してください。これは遅延を引き起こす可能性があります。

初めはテキスト形式でデータを要求し、後にプロセスマイニングツールのAPIや組み込みETLツールで自動化します。

プロセスマイニングツールにおける組み込みETLツール

プロセスマイニングベンダーの組み込みETLツールは避けることをお勧めします。便利に見えますが、次のような大きな制限があります。

• 専用ETLツールに比べて品質が低い。
• SQLのような業界標準ではなく、独自技術を使用するため、トレーニングのニーズが増し、専門知識の利用が減ります。
• ベンダーロックインが発生し、ツールの乗り換えが困難になる。
• データサイロが作成され、他の分析やAIプロジェクトでのデータ再利用が制限されます。

サードパーティのETLツール

多くのサードパーティETLツールがプロセスマイニングのニーズを満たせます。プロセスマイニングには特定のデータが必要ですが、操作は標準的です。

ETLロジックの再利用を容易にし、長期的な保守性を向上させるために、SQLベースのツールを好みましょう。新しいツールを採用することで発生する遅延やプロジェクトの障害を避けるために、自社のツールを利用しましょう。

プロセスマイニングでよく使われるサードパーティETLツール:

• CData: 抽出に優れ、他のツールとよく併用されます。
• dbt: 大規模な変換を処理するためのSQLベースの変換ツール。
• BigQuery: Googleの管理データウェアハウス、大規模データセットで高速SQLクエリに理想的。
• Snowflake: スケーラブルなストレージとコンピューティングのためのクラウドベースプラットフォーム。
• DataBricks: データエンジニアリング、マシンラーニング、およびアナリティクスを組み合わせた統合分析プラットフォーム。
• Talend: さまざまなデータソースをサポートするグラフィカルETLツール。
• Apache Nifi: データフロー自動化とリアルタイム処理のためのオープンソースETLツール。

プロセスマイニングのための専門的ETLツール

プロセスマイニング用の専門的ETLツールは、サードパーティのETLの利点をプロセスマイニングの機能やテンプレートと組み合わせています。

例:

• Konekti: プロセスデータモデルを正確かつ迅速に作成するために設計されています。

まとめ

ETLはプロセスマイニングプロジェクトの目的ではありませんが、しばしば必要なステップです。遅延を避けるためにETLプロセスを設定しましょう。

• すぐに利用できるデータを使用する。
• 手動アップロードから始め、適切な場合に自動化する。
• 既存のツールを使用し、SQLを好む。

特に重要なのは、必要なデータから小さく始め、段階的に拡大することです。前もってすべてのデータを収集しないようにしないと、プロジェクトが妨げられます。