ETL et Process Mining : optimisez vos projets

ETL pour Process Mining

Le process mining dépend des données provenant de divers systèmes, ce qui rend l’ETL essentiel. L’ETL, abréviation de Extract, Transform, Load, est un processus d’entreposage de données qui extrait les données des systèmes sources, les transforme selon les besoins et les charge dans un entrepôt de données ou un outil de process mining. Ce processus est crucial pour collecter, nettoyer, organiser et préparer les données pour l’analyse.

Voici un guide pour réaliser efficacement l’ETL pour le process mining.

Approche Globale

La règle la plus importante : ne vous précipitez pas dans l’extraction de données. L’extraction de données est à la fois coûteuse et chronophage.

Commencez par définir vos objectifs de projet et identifier les processus à analyser. Choisissez un processus pour débuter et créez une esquisse rapide à l’aide d’un modèle BPMN. Ajoutez des données au modèle pour les aligner aux objectifs du projet. Commencez par des données facilement accessibles, comme des fichiers Excel, des données facilement exportables ou déjà utilisées pour d’autres analyses. Ensuite, identifiez les lacunes de données et extrayez uniquement celles nécessaires pour atteindre vos objectifs. Résistez à la tentation de tout collecter ‘au cas où’ - un excès de données vous ralentira. La vitesse de votre cycle d’amélioration continue dépend souvent plus de la collecte des données que de la mise en œuvre.

Commencez par des chargements de fichiers simples. Automatisez le chargement des données seulement lorsque cela a du sens, comme lorsque les données sont fréquemment mises à jour et qu’une analyse continue est nécessaire. Dans de nombreux cas, une analyse statique est préférée pour la stabilité. Quelle que soit l’approche choisie, ne laissez pas cela vous ralentir. Il vaut mieux téléverser des données trimestrielles en quelques minutes que de passer des semaines à automatiser, pour découvrir finalement que les données sont incorrectes ou insuffisantes pour votre cas d’affaires.

Quelles Données sont Nécessaires ?

Le process mining nécessite des données spécifiques : un case ID, un timestamp, et une activité. Des données supplémentaires, comme les coûts, l’utilisateur, l’équipe, ou l’empreinte CO2, peuvent enrichir votre analyse. Vous pouvez également inclure des dimensions supplémentaires pour les graphiques ou des mesures supplémentaires pour les métriques.

L’obtention de certaines données pour le process mining est généralement simple, car les champs requis sont communs. Cependant, créer un ensemble de données unique avec toutes les données nécessaires peut être difficile, nécessitant souvent des transformations importantes pour combiner et unifier des morceaux séparés en un seul fichier.

Ne vous inquiétez pas d’avoir tout à la fois - commencez avec ce que vous avez.

Quel Format de Données est Nécessaire ?

Bien que des formats de données avancés existent, la plupart des outils reposent encore sur des fichiers texte simples. Utilisez des fichiers séparés par des virgules (CSV) ou par des tabulations (TSV/TXT). Évitez les fichiers texte à largeur fixe, car la plupart des outils ne peuvent pas les traiter.

Les fichiers doivent commencer par une ligne d’en-tête, suivie de lignes de données correspondant aux champs et à l’ordre de l’en-tête.

Si vous avez besoin de caractères non anglais, utilisez le codage UTF-8. Assurez-vous que les champs ne contiennent pas de séparateurs ou de caractères de fin de ligne. Vous pouvez utiliser des guillemets autour des champs, mais évitez les guillemets à l’intérieur des champs. Si nécessaire, remplacez les guillemets par un autre caractère pour simplifier le traitement.

Données Facilement Accessibles

Commencez par lister les données facilement accessibles. Considérez ces sources :

• Rapports Excel mensuels ou hebdomadaires avec données brutes. Utilisez Excel pour reformater si nécessaire.
• Données de process mining d’autres outils, souvent sans prétraitement supplémentaire nécessaire.
• Options d’exportation standard de systèmes comme les systèmes RH, financiers ou ITSM. Exportez vers un format pris en charge par votre outil de process mining.
• Exportations d’outils analytiques rapportant sur les données requises. Utilisez des tableaux croisés et des exports pour créer le bon format.
• Entrepôts de données avec des données nettoyées et combinées. Utilisez des outils d’entrepôt pour sélectionner et exporter les données au format CSV.

Systèmes de Process

Les données sont souvent stockées dans des systèmes comme SAP, Workday, Salesforce ou ServiceNow. Vérifiez d’abord si une simple exportation répond à vos besoins, car c’est le moyen le plus rapide de créer de la valeur. Sinon, utilisez des outils ETL pour extraire, transformer et charger les données dans votre outil de process mining.

En fonction de votre organisation, il peut être nécessaire d’impliquer l’informatique, les responsables de systèmes ou les équipes d’entreposage de données. Bien que cela puisse ralentir la collecte des données, ne contournez pas ces équipes - elles ont des procédures et une expérience qui peuvent accélérer le processus. Travaillez en boucle agile avec elles, en commençant par des données facilement disponibles et en évitant de demander tout d’un coup, ce qui peut entraîner des retards.

Demandez initialement les données au format texte. Plus tard, automatisez avec l’API de votre outil de process mining ou des outils ETL intégrés.

Outils ETL Intégrés dans les Outils de Process Mining

Nous conseillons généralement de ne pas utiliser les outils ETL intégrés des fournisseurs de process mining. Bien qu’ils puissent sembler pratiques, ils présentent des limitations importantes :

• Qualité inférieure par rapport aux outils ETL dédiés.
• Utilisation de technologies propriétaires au lieu de standards industriels comme le SQL, augmentant les besoins de formation et réduisant la disponibilité de l’expertise.
• Dépendance au fournisseur, rendant plus difficile le changement d’outils.
• Création de silos de données, limitant la réutilisation des données dans d’autres projets d’analyse ou d’IA.

Outils ETL tiers

De nombreux outils ETL tiers répondent aux besoins du Process Mining. Même si le Process Mining nécessite des data spécifiques, les opérations restent standards.

Privilégiez les outils basés sur SQL pour faciliter la réutilisation de la logique ETL et garantir une bonne maintenabilité sur le long terme. Préférez les outils internes afin d’éviter retards ou blocages liés à l’adoption de nouveaux outils.

Outils ETL tiers couramment utilisés pour le Process Mining :

• CData : Excellent pour l’extraction, souvent combiné à d’autres outils.
• dbt : Outil de transformation SQL adapté aux grands volumes.
• BigQuery : Data warehouse managé par Google, idéal pour des requêtes SQL rapides sur de gros volumes.
• Snowflake : Plateforme cloud pour stockage et calculs scalables, utile pour la transformation et l’analyse.
• DataBricks : Plateforme analytics unifiée couvrant data engineering, machine learning et analytics.
• Talend : Outil ETL graphique compatible avec de nombreux types de data.
• Apache Nifi : Outil ETL open source pour automatiser les flux de data en temps réel.

Outils ETL spécialisés pour le Process Mining

Les outils ETL spécialisés pour le Process Mining combinent les avantages des ETL tiers avec des fonctionnalités et templates dédiés à l’analyse des processus.

Exemples :

• Evidant : Data Transform Refinery. Spécialisé dans l’extraction et la transformation de data Process Mining à grande échelle.
• Konekti : Conçu pour créer rapidement et avec précision des modèles de data de processus.

À Retenir

L’ETL n’est pas l’objectif des projets de process mining mais il est souvent une étape nécessaire. Configurez votre processus ETL pour éviter les retards :

• Utilisez des données facilement accessibles.
• Commencez avec des chargements manuels ; automatisez quand c’est approprié.
• Utilisez des outils existants, en privilégiant SQL.

Surtout, commencez petit avec les données nécessaires et élargissez progressivement. Évitez de tout collecter d’emblée, car cela peut dérailler votre projet.