Outils ETL pour le Process Mining

ETL pour le Process Mining

Le Process Mining dépend de données issues de plusieurs systèmes, ce qui fait de l’ETL une étape essentielle. ETL signifie Extract, Transform, Load, soit extraire, transformer et charger. L’ETL extrait les données des systèmes sources, les transforme pour l’analyse, puis les charge dans un entrepôt de données ou une plateforme de Process Mining. Ce flux de travail vous aide à collecter, nettoyer, organiser et préparer les données afin d’obtenir des analyses fiables des processus.

Voici comment utiliser efficacement l’ETL pour le Process Mining.

Approche globale

La règle la plus importante est simple : ne vous précipitez pas pour extraire les données. Cette étape coûte du temps et de l’argent.

Commencez par définir les objectifs de votre projet et par identifier les processus que vous souhaitez analyser. Choisissez un processus et créez-en rapidement une vue d’ensemble à l’aide d’un modèle BPMN. Ajoutez les données au modèle en fonction des objectifs de votre projet. Commencez par les données facilement accessibles, comme des fichiers Excel, des données faciles à exporter ou des données déjà utilisées pour d’autres analyses. Identifiez ensuite les données manquantes et n’extrayez que celles dont vous avez besoin pour atteindre vos objectifs. Résistez à la tentation de tout rassembler « au cas où ». Un excès de données vous ralentit. La rapidité de votre cycle d’amélioration continue dépend souvent davantage de la collecte des données que de la mise en œuvre.

Commencez par importer des fichiers simples. Automatisez le chargement des données uniquement lorsque cela est pertinent, par exemple si les données changent fréquemment et que vous avez besoin d’une analyse continue. Dans de nombreux cas, une analyse statique offre davantage de stabilité. Quelle que soit l’approche choisie, ne la laissez pas vous ralentir. Importer des données chaque trimestre en quelques minutes vaut mieux que de consacrer des semaines à automatiser le processus, pour découvrir ensuite que les données sont incorrectes ou insuffisantes pour votre cas d’usage.

De quelles données avez-vous besoin ?

Le Process Mining nécessite trois éléments de données : un identifiant de cas, un horodatage et une activité. Des données supplémentaires, comme le coût, l’utilisateur, l’équipe ou l’empreinte carbone, peuvent apporter du contexte à votre analyse. Vous pouvez également ajouter des dimensions pour les graphiques et des mesures supplémentaires pour les indicateurs.

Obtenir les données nécessaires au Process Mining est généralement simple, car les champs requis sont courants. En revanche, créer un jeu de données unique contenant toutes les informations nécessaires peut s’avérer plus difficile. Des transformations importantes peuvent être nécessaires pour combiner et standardiser plusieurs sources de données dans un même fichier.

Vous n’avez pas besoin de tout réunir immédiatement. Commencez avec ce dont vous disposez.

De quel format de données avez-vous besoin ?

Même si des formats de données avancés sont disponibles, la plupart des outils utilisent encore des fichiers texte simples. Utilisez des fichiers séparés par des virgules (CSV) ou par des tabulations (TSV/TXT). Évitez les fichiers texte à largeur fixe, car la plupart des outils ne peuvent pas les traiter.

Chaque fichier doit commencer par une ligne d’en-tête, suivie de lignes de données correspondant aux champs de l’en-tête et à leur ordre.

Si vous avez besoin de caractères non latins, utilisez l’encodage UTF-8. Vérifiez que les champs ne contiennent ni séparateurs ni caractères de fin de ligne. Vous pouvez placer les champs entre guillemets, mais évitez les guillemets à l’intérieur des champs. Si nécessaire, remplacez les guillemets intégrés par un autre caractère afin de simplifier le traitement.

Données facilement accessibles

Commencez par dresser la liste des données auxquelles vous pouvez accéder facilement. Prenez en compte les sources suivantes :

• Rapports Excel mensuels ou hebdomadaires contenant des données brutes. Utilisez Excel pour reformater les données si nécessaire.
• Données de Process Mining provenant d’autres outils, qui ne nécessitent souvent aucun prétraitement supplémentaire.
• Exports standard de systèmes tels que les systèmes RH, financiers ou ITSM. Exportez les données dans un format pris en charge par votre outil de Process Mining.
• Exports d’outils analytiques qui présentent les données dont vous avez besoin. Utilisez des tableaux croisés dynamiques et des exports pour créer le format approprié.
• Entrepôts de données contenant des données nettoyées et combinées. Utilisez les outils de l’entrepôt pour sélectionner et exporter les données au format CSV.

Systèmes de processus

Les données sont souvent stockées dans des systèmes tels que SAP, Workday, Salesforce ou ServiceNow. Vérifiez d’abord si un export simple répond à vos besoins. C’est généralement le moyen le plus rapide d’obtenir des résultats. Si ce n’est pas le cas, utilisez des outils ETL pour extraire, transformer et charger les données dans votre outil de Process Mining.

Selon votre organisation, vous devrez peut-être faire intervenir l’équipe informatique, les responsables des systèmes ou les équipes chargées de l’entreposage des données. Cela peut ralentir la collecte des données, mais ne contournez pas ces équipes. Elles disposent de procédures et d’une expérience qui peuvent accélérer le processus. Travaillez avec elles selon une approche itérative. Commencez par les données facilement accessibles et évitez de tout demander en une seule fois, car cela peut entraîner des retards.

Dans un premier temps, demandez les données au format texte. Vous pourrez ensuite automatiser le processus à l’aide de l’API de votre outil de Process Mining ou de ses outils ETL intégrés.

Outils ETL intégrés aux outils de Process Mining

Nous déconseillons généralement d’utiliser les outils ETL intégrés proposés par les fournisseurs de Process Mining. Ils peuvent sembler pratiques, mais présentent des limites importantes :

• Une qualité inférieure à celle des outils ETL dédiés.
• Une technologie propriétaire au lieu de standards du secteur tels que SQL, ce qui accroît les besoins de formation et réduit la disponibilité des compétences.
• Une dépendance au fournisseur, qui rend plus difficile le changement d’outil.
• Des silos de données qui limitent la réutilisation dans d’autres projets d’analyse ou d’IA.

Outils ETL tiers

De nombreux outils ETL tiers peuvent prendre en charge le Process Mining. Même si le Process Mining nécessite des données spécifiques, les opérations sous-jacentes sont standard.

Privilégiez les outils basés sur SQL afin de pouvoir réutiliser la logique ETL et la maintenir sur le long terme. Utilisez les outils dont vous disposez déjà en interne pour éviter les retards ou les blocages liés à l’adoption d’une nouvelle technologie.

Les outils ETL tiers couramment utilisés pour le Process Mining comprennent :

• CData : particulièrement adapté à l’extraction des données et souvent utilisé avec d’autres outils.
• dbt : outil de transformation basé sur SQL, doté de fonctionnalités pour gérer des transformations importantes.
• BigQuery : entrepôt de données géré par Google, conçu pour exécuter rapidement des requêtes SQL sur de grands volumes de données.
• Snowflake : plateforme cloud destinée au stockage et au calcul évolutifs, utilisée pour la transformation et l’analyse.
• DataBricks : plateforme d’analyse unifiée qui combine ingénierie des données, apprentissage automatique et analyse.
• Talend : outil ETL graphique prenant en charge différentes sources de données.
• Apache Nifi : outil ETL open source destiné à automatiser les flux de données et à traiter les données en temps réel.

Outils ETL spécialisés pour le Process Mining

Les outils ETL spécialisés pour le Process Mining associent les avantages des outils ETL tiers aux fonctionnalités et aux modèles du Process Mining.

Voici quelques exemples :

• Evidant : Data Transform Refinery. Cette solution se concentre sur l’extraction et la transformation de données de Process Mining à grande échelle.
• Konekti : conçu pour créer rapidement des modèles de données de processus précis.

Gérer les données après leur chargement

L’extraction ne représente que la moitié de la gestion des données. La manière dont vous organisez ensuite les jeux de données détermine si l’analyse reste fiable.

• Nommez les jeux de données selon leur contenu. Q1_2025_Sales_Data ou Customer_Support_Logs est préférable à export_final_v3. Utilisez des couleurs pour regrouper les jeux de données associés et donnez à chacun un nom propre au processus lorsqu’il joue un rôle précis.
• Choisissez le format adapté au besoin. Le CSV ou Excel convient aux fichiers petits et moyens importés manuellement ; Parquet ou ORC sont plus adaptés aux grands jeux de données et aux pipelines automatisés.
• Prévisualisez avant d’analyser. Vérifiez la structure, le type des colonnes et quelques lignes avant l’association, puis confirmez la présence des colonnes nécessaires au Process Mining : identifiant du cas, activité et horodatage (champs du Process Mining).
• Associez les données avec méthode. Laissez l’association automatique effectuer un premier passage, puis examinez les activités non associées ; c’est souvent là que se cachent les étapes de processus les plus intéressantes. Les étapes qui existent dans la réalité mais ne laissent aucune trace dans les données peuvent être marquées comme débit des données, afin de rester visibles sans fausser les chiffres.
• Enrichissez les données au lieu de les remplacer. Pour les exports récurrents, utilisez le chargement incrémentiel afin d’ajouter les nouvelles lignes plutôt que de réimporter tout le fichier.
• Combinez ou séparez selon l’objectif. Les jeux de données qui partagent des attributs peuvent être regroupés dans une même vue pour la simulation et l’analyse ; ceux qui diffèrent fortement sont généralement mieux séparés, avec leurs propres attributs de filtrage.
• Gérez les filtres et les métriques avec rigueur. Un filtre utile en mars peut brouiller le Dashboard en juin. Supprimez les filtres une fois la question à laquelle ils répondaient résolue et n’affichez que les métriques réellement consultées.
• Contrôlez les accès, puis archivez. Accordez l’accès aux jeux de données aux personnes qui en ont besoin et archivez les jeux obsolètes au lieu de les laisser dans le processus actif.

À retenir

L’ETL n’est pas l’objectif d’un projet de Process Mining, mais il est souvent nécessaire. Configurez votre processus ETL afin d’éviter les retards :

• Utilisez les données facilement accessibles.
• Commencez par des imports manuels, puis automatisez lorsque cela est pertinent.
• Utilisez les outils existants, en privilégiant SQL.

Surtout, commencez modestement avec les données dont vous avez besoin, puis élargissez progressivement. Tout rassembler dès le départ peut compromettre votre projet.