Outils ETL pour le Process Mining : lesquels vous faut-il ?

Avez-vous besoin d’un ETL pour le Process Mining ?

Les outils ETL extraient les données des systèmes sources, les transforment pour les rendre exploitables, puis les chargent en vue de leur analyse. Cet article explique quels traitements ETL sont réellement nécessaires à un projet de Process Mining et dans quels cas vous pouvez vous en passer. Il ne s’agit pas d’un guide d’achat de pipelines. Si un système permet d’exporter les enregistrements dans un fichier contenant un identifiant de dossier, une activité et un horodatage, vous pouvez souvent charger cet export tel quel pour une première analyse.

La réponse dépend du processus, des systèmes concernés et de la fréquence d’actualisation de l’analyse. Commencez par l’extraction la plus réduite qui puisse répondre à une question, puis ajoutez la préparation et l’automatisation lorsque la première analyse montre qu’elles sont nécessaires.

Trois situations justifient un travail ETL :

• Le processus fait intervenir plusieurs systèmes. Il faut rapprocher les enregistrements et harmoniser leurs identifiants pour suivre un cas de bout en bout.
• Les données sources ne sont pas directement lisibles. Il faut normaliser les noms d’activité, les horodatages ou les identifiants de cas avant de pouvoir les analyser.
• L’extraction doit être répétée. Si les données changent chaque jour et que l’analyse doit suivre leur évolution, les exports manuels ne sont plus pratiques.

Ce sont des raisons de préparer les données, pas de créer un pipeline avant d’avoir répondu à la première question. Importez ce dont vous disposez, repérez ce qui manque, puis décidez de la suite.

Vous pouvez également vous passer d’un pipeline distinct lorsque :

• Le processus est principalement enregistré dans un seul système.
• Les enregistrements nécessaires peuvent être exportés.
• L’export contient un ID de cas, une activité et un horodatage.
• Le fichier est assez petit pour être préparé manuellement.
• Vous vérifiez encore si les données permettent de répondre à votre question.

Un tableur convient parfaitement pour renommer des colonnes, corriger des incohérences évidentes et supprimer les champs inutiles. La préparation manuelle n’a pas à durer : dès que l’analyse s’avère utile et que les données doivent être actualisées souvent, automatisez les étapes que vous répétez.

Ce que l’extraction doit fournir

Un journal d’événements destiné au Process Mining doit contenir trois champs et une ligne par événement.

Les attributs tels que le coût, l’utilisateur, l’équipe, le segment de clientèle ou l’empreinte carbone sont facultatifs. Ils permettent aussi de passer d’une simple vue du processus à une analyse : chaque attribut conservé pourra ensuite servir de filtre, de critère de segmentation ou de mesure. La référence des attributs de jeu de données présente les possibilités offertes par chaque champ.

Un champ peut figurer dans la source sans être utilisable. Si l’ID de cas change d’un système à l’autre, les événements ne pourront pas être reliés. Des libellés d’activité incohérents peuvent transformer une étape réelle en trois étapes distinctes. Un horodatage stocké sous forme de texte peut placer les événements dans le mauvais ordre. Examinez l’export avant de l’associer aux champs attendus et vérifiez d’abord les trois champs obligatoires. Pour savoir plus largement ce que doit contenir un journal, consultez les données nécessaires au Process Mining.

Une requête minimale pour un journal d’événements

Si la source contient déjà une ligne par activité, il suffit d’une requête SELECT. Cet exemple suppose une table appelée process_events qui contient un cas, une activité et l’heure de l’événement :

SELECT
  case_id        AS case_id,
  activity_name  AS activity,
  event_time     AS timestamp
FROM process_events
WHERE case_id IS NOT NULL
  AND activity_name IS NOT NULL
  AND event_time IS NOT NULL
ORDER BY case_id, event_time;

La requête renomme les trois champs, écarte les lignes inutilisables et trie les événements de chaque cas. Adaptez les noms de table et de colonnes à votre source, puis vérifiez un échantillon de cas avant l’importation : chaque cas doit contenir les événements attendus, dans un ordre reconnu par les personnes qui effectuent le travail.

Quelles étapes de transformation sont importantes ?

La transformation doit corriger les éléments qui fausseraient l’analyse. Quatre étapes couvrent l’essentiel.

1. Normalisez les événements

   Placez chaque occurrence d’activité sur sa propre ligne, avec l’ID de cas et l’horodatage, même si la source stocke les étapes du processus dans des colonnes distinctes.

2. Rendez les horodatages utilisables

   Vérifiez que les valeurs correspondent à de vraies dates et heures, et déterminez si elles sont en heure locale ou en UTC. Harmonisez les fuseaux horaires des sources que vous combinez, sans quoi l’ordre des événements sera erroné.

3. Uniformisez les noms d’activité

   Attribuez un seul libellé à chaque étape réelle, dans une seule langue et avec une orthographe uniforme. Ne regroupez pas des étapes simplement parce qu’elles se ressemblent, dans le seul but de raccourcir la liste.

4. Ne reliez les sources que si nécessaire

   Repérez la clé qui relie les enregistrements et vérifiez qu’elle fonctionne. Une jointure qui duplique des événements ou supprime des cas modifie la vue du processus : comparez le nombre d’enregistrements avant et après.

Si l’export contient déjà une ligne par événement et les trois champs requis, aucune transformation n’est nécessaire. C’est une situation normale, pas un raccourci. La création d’un journal d’événements pour le Process Mining présente les mêmes étapes avec des exemples Excel et SQL.

Où charger le journal d’événements ?

Chargez les données préparées dans la plateforme où vous les analyserez. Pour un premier aperçu, un seul fichier suffit : préparez-le, chargez-le, consultez la vue du processus, puis affinez l’extraction une fois que vous voyez ce que les données permettent d’étudier. Évitez de mettre en place une nouvelle couche de stockage uniquement pour le Process Mining. Si votre équipe gère déjà un entrepôt de données ou un lac de données, conservez-y les données et chargez les fichiers produits par cet environnement.

La page consacrée aux formats de données pris en charge présente les détails. Les mêmes formats peuvent être transmis par une tâche planifiée via l’API de données si vous préférez éviter les imports manuels.

Un jeu de données importé est associé au modèle. Le panneau indique les cas qu’il contient et signale les activités qui ne sont pas encore associées. Source: ProcessMind

Quelle que soit la méthode choisie, les données doivent être chargées là où l’analyse est réalisée. Un fichier dans un dossier que personne ne consulte ne constitue pas une stratégie de données. Un jeu de données que quelqu’un associe et examine, oui.

Quels outils ETL choisir pour le Process Mining ?

Il n’existe pas de liste d’outils ETL adaptée à tous les projets. Choisissez en fonction de l’emplacement des données, des outils déjà utilisés par votre équipe et du travail de préparation nécessaire. Il s’agit essentiellement d’ingénierie des données classique. La seule exigence propre au Process Mining est que les fichiers produits conservent l’ID de cas, l’activité et l’horodatage.

Parmi les noms qui reviennent souvent dans les projets de Process Mining : CData et dbt pour l’extraction des données et les transformations SQL, BigQuery, Snowflake et Databricks pour les entrepôts de données, et Talend, Apache NiFi et Airbyte lorsque le transfert de données entre systèmes constitue la principale difficulté. Les solutions open source sont tout à fait envisageables, NiFi et Airbyte étant les points de départ les plus courants. Certains fournisseurs proposent aussi des outils ETL conçus pour le Process Mining, comme Evidant et Konekti, avec des modèles pour les systèmes courants.

Il s’agit d’exemples, pas de recommandations, et aucun de ces fournisseurs n’est partenaire. Privilégiez les outils et les formats que votre équipe pourra maintenir après le projet, et gardez si possible la logique de transformation en dehors du produit de Process Mining. L’ETL intégré mérite une attention particulière : il est pratique tant que vous restez sur la plateforme, mais votre préparation des données se retrouve dans un environnement où elle sera plus difficile à réutiliser pour un prochain projet d’analyse ou d’IA.

Comment gérer les données après leur import ?

L’extraction ne représente que la moitié du travail. La façon dont vous gérez ensuite les jeux de données détermine si l’analyse restera pertinente trois mois plus tard.

• Nommez les jeux de données d’après leur contenu. Q1_2025_Sales_Data ou Customer_Support_Logs vaut mieux que export_final_v3.
• Choisissez le format adapté. Un fichier CSV ou Excel convient aux petits fichiers importés manuellement. Parquet ou ORC sont préférables pour les grands jeux de données et les fichiers produits par un pipeline.
• Vérifiez l’aperçu avant de faire les associations. Examinez la structure, les types de colonnes et quelques lignes, puis vérifiez l’ID de cas, l’activité et l’horodatage dans la configuration de votre jeu de données.
• Vérifiez l’association des activités. Laissez l’association automatique effectuer un premier passage, puis examinez les activités non associées. Les étapes qui ont lieu sans laisser de trace dans les données peuvent être marquées comme débit des données : elles restent ainsi visibles sans modifier les chiffres.
• Actualisez les données au lieu de tout reconstruire. Pour un export récurrent, remplacez le jeu de données par le nouveau fichier selon la fréquence réellement nécessaire à l’analyse, chaque jour ou chaque semaine, et conservez les mêmes associations.
• Consignez les limites des données. Indiquez dans les notes d’analyse les périodes, les systèmes et les étapes manquants, car ces éléments déterminent les conclusions que vous pourrez tirer.
• Gérez les accès, puis archivez les données. Donnez accès au jeu de données aux personnes qui en ont besoin et archivez les données devenues inutiles une fois le projet terminé.

À retenir

L’ETL est un moyen, pas une fin en soi pour un projet de Process Mining. Configurez-le de façon à ne pas retarder la première analyse :

• Commencez par les données que vous pouvez obtenir cette semaine.
• Conservez les trois champs obligatoires, même si vous supprimez les autres.
• Importez d’abord l’export, puis automatisez l’import lorsque l’analyse le justifie.
• Utilisez les outils et les formats que votre équipe sait déjà maintenir.

Les projets échouent plus souvent parce que le pipeline a été construit avant que l’on sache à quelle question il devait répondre que parce qu’il était trop simple.