Nettoyage et préparation des données pour le Process Mining

Un Process Mining efficace commence par des données de qualité. Le travail porte le plus souvent sur quelques problèmes récurrents : événements jamais enregistrés, identifiants différents d’un système à l’autre, formats incompatibles et extraits trop volumineux ou trop sensibles pour être traités sans précaution. Cette page présente ces problèmes et les étapes pour les résoudre. Pour effectuer ces opérations dans ProcessMind, consultez Configurer votre jeu de données et Qualité des données.

Pourquoi le nettoyage et la préparation des données sont-ils importants ?

Le Process Mining s’appuie sur des journaux d’événements, c’est-à-dire des jeux de données qui détaillent la séquence des activités d’un processus métier. Si ces jeux de données sont incomplets, incohérents ou erronés, les analyses obtenues ne seront pas fiables. Des données propres et bien structurées permettent à l’outil de représenter les flux de travail, de détecter les goulots d’étranglement et de mettre en évidence les pistes d’amélioration.

Étapes clés du nettoyage et de la préparation des données

1. Collectez les données de tous les systèmes concernés

Les données proviennent généralement de plusieurs systèmes : un ERP pour les commandes et les factures, un CRM pour les étapes liées aux clients, un centre de services pour les tickets. Rassemblez les données de tous ces systèmes avant de commencer le nettoyage. Une étape enregistrée dans un système que vous avez omis ne pourra pas être récupérée par la suite.

• Regroupez les sources de données : dressez la liste des systèmes qui enregistrent une partie du processus et extrayez les données de chacun. Par exemple, un processus de la commande à l’encaissement fait intervenir un système commercial (comme Salesforce) et un système financier (comme SAP).
• Décloisonnez les données : convenez avec les responsables du processus des systèmes à inclure et des personnes autorisées à en exporter les données. Les données manquantes proviennent souvent d’un système oublié, et non d’une requête défectueuse. Des outils d’intégration comme Apache NiFi, Talend, Informatica ou Power BI peuvent regrouper plusieurs sources dans un seul fichier.
• Anticipez les données impossibles à extraire : si une étape se déroule hors système, par exemple une approbation par téléphone ou une signature sur papier, enregistrez au moins son résultat dans un système numérique, ou modélisez l’étape pour que la vue du processus reste complète. Où trouver les données présente les sources système par système.

2. Supprimez les doublons

Les enregistrements en double faussent l’analyse en gonflant le nombre d’activités et en donnant l’impression qu’un événement s’est produit plusieurs fois. Repérez-les à l’aide de l’identifiant de cas, de l’activité et de l’horodatage, puis supprimez-les ou regroupez-les sur une seule ligne.

3. Traitez les données manquantes

Des horodatages, des activités ou des identifiants de cas manquants interrompent la séquence des événements et produisent des modèles de processus incomplets.

• Repérez les valeurs manquantes : recherchez les horodatages vides, les noms d’activité absents et les identifiants de cas nuls.
• Comblez les lacunes : lorsque c’est possible, utilisez d’autres sources ou les connaissances métier. Si un horodatage manque, ceux des événements voisins peuvent aider à le déterminer.
• Modélisez plutôt que d’inventer : pour les étapes qui n’ont jamais été enregistrées, ajoutez-les par la modélisation des processus au lieu de fabriquer des horodatages. Le processus découvert et le processus documenté pourront ainsi se rejoindre.
• Imputez les valeurs ou supprimez les cas : pour les lacunes importantes, utilisez une méthode d’imputation, comme le remplacement par la moyenne ou un modèle de régression. Si un cas ne peut pas être reconstitué, supprimez-le en indiquant pourquoi.

4. Harmonisez les formats, les identifiants et les noms

• Horodatages : utilisez le même format partout, par exemple YYYY-MM-DD HH:MM:SS. Si l’extraction contient plusieurs fuseaux horaires, convertissez toutes les heures en UTC. Consultez la liste des formats de date pris en charge
• Identifiants de cas : un même processus peut avoir des identifiants différents selon les systèmes, par exemple un numéro de commande dans le CRM et un numéro de facture en comptabilité. Établissez une correspondance entre ces identifiants, dans l’extraction ou dans une table de référence, afin que chaque événement soit rattaché au même cas. Attribuez un identifiant unique à chaque instance du processus. Dans ProcessMind, vérifiez que la colonne d’identifiant de cas est associée de la même manière dans tous les jeux de données que vous combinez. Consultez les attributs du jeu de données.
• Noms des activités : les systèmes peuvent désigner différemment une même étape. Choisissez un seul libellé par étape : « Approuver la commande » et « Approbation de la commande » désignent la même activité.
• Valeurs et types : conservez les nombres sous forme numérique, par exemple les coûts, les durées et les montants, et utilisez une seule unité par colonne.

5. Supprimez les événements sans rapport avec le processus

Tous les événements enregistrés ne font pas nécessairement partie du processus analysé. Les connexions aux systèmes, les nouvelles tentatives techniques et les tâches administratives encombrent la représentation sans apporter d’information utile.

• Écartez les événements hors sujet : appuyez-vous sur les connaissances métier pour déterminer quels événements décrivent le processus, puis excluez les autres.
• Choisissez le bon niveau de détail : des événements trop généraux, comme « commande traitée », masquent les variantes recherchées ; des événements trop détaillés encombrent la représentation d’informations techniques. Regroupez les événements de bas niveau dans l’activité métier correspondante, en laissant les spécialistes du processus déterminer la limite.

6. Traitez les valeurs aberrantes et le bruit

Les valeurs aberrantes donnent une image inexacte du déroulement habituel du processus. Une tâche exceptionnellement longue en raison d’un événement rare peut, par exemple, peser fortement sur les moyennes.

• Repérez-les : signalez les durées qui s’écartent nettement de la plage habituelle pour l’étape concernée.
• Décidez si vous devez les conserver : une véritable exception, comme une défaillance rare mais importante, peut fournir une information utile ; une erreur de données, non. Supprimez uniquement les données erronées, pas celles qui vous dérangent.

7. Vérifiez l’ordre des événements

Si les événements ne sont pas dans le bon ordre, l’outil reconstitue un flux incorrect.

• Validez la séquence : les événements de chaque cas doivent respecter l’ordre des horodatages. Si l’événement « Order Approved » précède « Order Created » dans un même cas, vérifiez les horodatages.
• Triez par horodatage : avant l’import, triez les événements de chaque cas selon la colonne d’horodatage.

8. Traitez les grands jeux de données

Les extraits volumineux sont longs à préparer et à importer. Tenez compte de leur taille dès le départ plutôt que de chercher à la contourner.

• Utilisez un échantillon pour explorer, puis chargez les données pour l’analyse : un échantillon représentatif suffit pour vérifier la cohérence des événements extraits. Chargez l’extrait complet lorsque l’analyse l’exige.
• Chargez les données progressivement : au lieu de tout remplacer, ajoutez les nouvelles périodes au moyen d’imports incrémentiels (delta).
• Privilégiez les formats en colonnes : pour les volumes importants, les fichiers Parquet et ORC sont plus légers et s’importent plus rapidement que les fichiers CSV ou Excel. Consultez les formats de données pris en charge.

9. Protégez les données sensibles

Les journaux d’événements contiennent des noms, des adresses, des numéros de client et des identifiants utilisateur. Traitez donc l’extrait comme des données personnelles.

• Anonymisez ou masquez les données : supprimez ou masquez les informations inutiles à l’analyse et ne conservez les identifiants utilisateur que si l’analyse des ressources le nécessite.
• Limitez les accès : communiquez l’extrait au moins grand nombre de personnes possible, uniquement si elles en ont besoin, et appliquez un contrôle d’accès fondé sur les rôles aux jeux de données importés.
• Respectez les règles qui s’appliquent à votre situation : durée de conservation limitée, chiffrement des données en transit et au repos, et réglementations telles que le RGPD pour les données clients.

10. Créez le journal d’événements

Une fois les données nettoyées, harmonisées et triées, créez le journal d’événements, le jeu de données principal pour le Process Mining. Chaque journal doit contenir :

• Identifiant de cas : un identifiant unique pour chaque instance de processus.
• Activité : le nom de l’étape qui a eu lieu.
• Horodatage : la date et l’heure de l’événement, qui déterminent l’ordre des événements.

Des colonnes facultatives apportent des précisions supplémentaires : la ressource (personne ou équipe), le service, le coût ou tout autre attribut personnalisé selon lequel vous souhaitez analyser le processus. La liste complète des exigences figure dans les formats de données pris en charge.

11. Validez le jeu de données

Avant de vous fier aux résultats, vérifiez que le jeu de données représente bien le processus que vous souhaitez analyser.

• Vérifiez quelques cas : suivez de bout en bout plusieurs instances de processus et assurez-vous que les séquences d’événements sont cohérentes.
• Lancez une analyse de test : découvrez le processus et recherchez les incohérences évidentes, comme des activités qui n’ont jamais lieu, un événement de début ou de fin incorrect, ou des cas qui auraient dû être clôturés.
• Confirmez les résultats avec les responsables du processus : en quelques minutes, les spécialistes métier peuvent vous dire si les données reflètent le déroulement réel du travail.

Nettoyer les données dans ProcessMind

Après l’import, vous pouvez effectuer dans ProcessMind une grande partie des opérations de préparation décrites ci-dessus :

• Associez et configurez les colonnes : définissez les noms d’affichage, les types de données et les formats d’horodatage dans les attributs du jeu de données, sans modifier le fichier source.
• Vérifiez la qualité : le Dashboard Qualité des données signale les valeurs manquantes et les incohérences afin que vous puissiez les corriger avant l’analyse. Les Recommandations IA sur les données suggèrent des associations et des corrections.
• Masquez ou filtrez les données inutiles : masquez des colonnes dans les attributs du jeu de données et utilisez des filtres pour exclure les événements dont vous n’avez pas besoin.
• Rechargez les données au lieu de les importer à nouveau : remplacez les données en place ou utilisez des imports incrémentiels (delta) pour les jeux de données qui s’enrichissent en continu.

Pour nettoyer les données en dehors de ProcessMind, vous pouvez utiliser des outils généralistes avant l’import, comme Python/Pandas, Excel, Google Sheets, des outils ETL ou OpenRefine. Pour découvrir la méthode complète, qui couvre les noms, les formats, le chargement incrémentiel et l’archivage, consultez ETL pour le Process Mining.

Sujets connexes

• Où trouver les données - Extrayez de vos systèmes une ligne par étape
• Formats de données pris en charge - Types de fichiers et exigences de structure
• Qualité des données - Vérifications effectuées par le badge de qualité
• Résoudre les problèmes de données - Solutions classées par symptôme
• ETL pour le Process Mining - Guide général de préparation des données