ETL : réussir vos projets Process Mining

ETL pour Process Mining

Le process mining dépend des données provenant de divers systèmes, ce qui rend l’ETL essentiel. L’ETL, abréviation de Extract, Transform, Load, est un processus d’entreposage de données qui extrait les données des systèmes sources, les transforme selon les besoins et les charge dans un entrepôt de données ou un outil de process mining. Ce processus est crucial pour collecter, nettoyer, organiser et préparer les données pour l’analyse.

Voici un guide pour réaliser efficacement l’ETL pour le process mining.

Approche Globale

La règle la plus importante : ne vous précipitez pas dans l’extraction de données. L’extraction de données est à la fois coûteuse et chronophage.

Commencez par définir vos objectifs de projet et identifier les processus à analyser. Choisissez un processus pour débuter et créez une esquisse rapide à l’aide d’un modèle BPMN. Ajoutez des données au modèle pour les aligner aux objectifs du projet. Commencez par des données facilement accessibles, comme des fichiers Excel, des données facilement exportables ou déjà utilisées pour d’autres analyses. Ensuite, identifiez les lacunes de données et extrayez uniquement celles nécessaires pour atteindre vos objectifs. Résistez à la tentation de tout collecter ‘au cas où’ - un excès de données vous ralentira. La vitesse de votre cycle d’amélioration continue dépend souvent plus de la collecte des données que de la mise en œuvre.

Commencez par des chargements de fichiers simples. Automatisez le chargement des données seulement lorsque cela a du sens, comme lorsque les données sont fréquemment mises à jour et qu’une analyse continue est nécessaire. Dans de nombreux cas, une analyse statique est préférée pour la stabilité. Quelle que soit l’approche choisie, ne laissez pas cela vous ralentir. Il vaut mieux téléverser des données trimestrielles en quelques minutes que de passer des semaines à automatiser, pour découvrir finalement que les données sont incorrectes ou insuffisantes pour votre cas d’affaires.

Quelles Données sont Nécessaires ?

Le process mining nécessite des données spécifiques : un case ID, un timestamp, et une activité. Des données supplémentaires, comme les coûts, l’utilisateur, l’équipe, ou l’empreinte CO2, peuvent enrichir votre analyse. Vous pouvez également inclure des dimensions supplémentaires pour les graphiques ou des mesures supplémentaires pour les métriques.

L’obtention de certaines données pour le process mining est généralement simple, car les champs requis sont communs. Cependant, créer un ensemble de données unique avec toutes les données nécessaires peut être difficile, nécessitant souvent des transformations importantes pour combiner et unifier des morceaux séparés en un seul fichier.

Ne vous inquiétez pas d’avoir tout à la fois - commencez avec ce que vous avez.

Quel Format de Données est Nécessaire ?

Bien que des formats de données avancés existent, la plupart des outils reposent encore sur des fichiers texte simples. Utilisez des fichiers séparés par des virgules (CSV) ou par des tabulations (TSV/TXT). Évitez les fichiers texte à largeur fixe, car la plupart des outils ne peuvent pas les traiter.

Les fichiers doivent commencer par une ligne d’en-tête, suivie de lignes de données correspondant aux champs et à l’ordre de l’en-tête.

Si vous avez besoin de caractères non anglais, utilisez le codage UTF-8. Assurez-vous que les champs ne contiennent pas de séparateurs ou de caractères de fin de ligne. Vous pouvez utiliser des guillemets autour des champs, mais évitez les guillemets à l’intérieur des champs. Si nécessaire, remplacez les guillemets par un autre caractère pour simplifier le traitement.

Données Facilement Accessibles

Commencez par lister les données facilement accessibles. Considérez ces sources :

• Rapports Excel mensuels ou hebdomadaires avec données brutes. Utilisez Excel pour reformater si nécessaire.
• Données de process mining d’autres outils, souvent sans prétraitement supplémentaire nécessaire.
• Options d’exportation standard de systèmes comme les systèmes RH, financiers ou ITSM. Exportez vers un format pris en charge par votre outil de process mining.
• Exportations d’outils analytiques rapportant sur les données requises. Utilisez des tableaux croisés et des exports pour créer le bon format.
• Entrepôts de données avec des données nettoyées et combinées. Utilisez des outils d’entrepôt pour sélectionner et exporter les données au format CSV.

Systèmes de Process

Les données sont souvent stockées dans des systèmes comme SAP, Workday, Salesforce ou ServiceNow. Vérifiez d’abord si une simple exportation répond à vos besoins, car c’est le moyen le plus rapide de créer de la valeur. Sinon, utilisez des outils ETL pour extraire, transformer et charger les données dans votre outil de process mining.

En fonction de votre organisation, il peut être nécessaire d’impliquer l’informatique, les responsables de systèmes ou les équipes d’entreposage de données. Bien que cela puisse ralentir la collecte des données, ne contournez pas ces équipes - elles ont des procédures et une expérience qui peuvent accélérer le processus. Travaillez en boucle agile avec elles, en commençant par des données facilement disponibles et en évitant de demander tout d’un coup, ce qui peut entraîner des retards.

Demandez initialement les données au format texte. Plus tard, automatisez avec l’API de votre outil de process mining ou des outils ETL intégrés.

Outils ETL Intégrés dans les Outils de Process Mining

Nous conseillons généralement de ne pas utiliser les outils ETL intégrés des fournisseurs de process mining. Bien qu’ils puissent sembler pratiques, ils présentent des limitations importantes :

• Qualité inférieure par rapport aux outils ETL dédiés.
• Utilisation de technologies propriétaires au lieu de standards industriels comme le SQL, augmentant les besoins de formation et réduisant la disponibilité de l’expertise.
• Dépendance au fournisseur, rendant plus difficile le changement d’outils.
• Création de silos de données, limitant la réutilisation des données dans d’autres projets d’analyse ou d’IA.

Outils ETL Tiers

De nombreux outils ETL tiers peuvent répondre aux besoins du process mining. Bien que le process mining nécessite des données spécifiques, les opérations sont standard.

Préférez les outils basés sur SQL pour un meilleur recyclage de la logique ETL et une meilleure maintenabilité à long terme. Utilisez des outils internes pour éviter les retards ou les blocages de projet dus à l’adoption de nouveaux outils.

Outils ETL tiers courants pour le process mining :

• CData: Excellent pour l’extraction, souvent utilisé avec d’autres outils.
• dbt: Un outil de transformation basé sur SQL avec des fonctionnalités pour gérer de grandes transformations.
• BigQuery: Un entrepôt de données géré par Google, idéal pour des requêtes SQL rapides sur de grands ensembles de données.
• Snowflake: Une plateforme cloud pour le stockage et le calcul évolutifs, utilisée pour la transformation et l’analyse.
• DataBricks: Une plateforme analytique unifiée combinant l’ingénierie des données, l’apprentissage machine et l’analyse.
• Talend: Un outil ETL graphique prenant en charge diverses sources de données.
• Apache Nifi: Un outil ETL open-source pour l’automatisation du flux de données et le traitement en temps réel.

Outils ETL Spécialisés pour Process Mining

Les outils ETL spécialisés pour le process mining combinent les avantages des ETL tiers avec les fonctionnalités et modèles de process mining.

Exemples :

• Konekti: Conçu pour créer des modèles de données de processus avec précision et rapidité.

À Retenir

L’ETL n’est pas l’objectif des projets de process mining mais il est souvent une étape nécessaire. Configurez votre processus ETL pour éviter les retards :

• Utilisez des données facilement accessibles.
• Commencez avec des chargements manuels ; automatisez quand c’est approprié.
• Utilisez des outils existants, en privilégiant SQL.

Surtout, commencez petit avec les données nécessaires et élargissez progressivement. Évitez de tout collecter d’emblée, car cela peut dérailler votre projet.