Sur cette page
> ressources > documentation > données process mining > Nettoyage et préparation des données pour le Process Mining

Nettoyage et préparation des données pour le Process Mining

Process Intelligence Process Intelligence Disponible avec une licence utilisateur Process Intelligence ou supérieure. Seules les licences utilisateur de ce forfait ou d’un forfait supérieur peuvent utiliser cette fonctionnalité. Comparer les forfaits Disponible avec une licence utilisateur Process Intelligence ou une offre supérieure

Le Process Mining commence par des données de qualité. La plupart des difficultés se résument à quelques problèmes récurrents : des événements qui n’ont jamais été enregistrés, des identifiants qui ne correspondent pas d’un système à l’autre, des formats incompatibles et des extraits trop volumineux ou trop sensibles pour être traités sans précaution. Cette page présente ces problèmes ainsi que les étapes permettant de les corriger. Pour effectuer ce travail dans ProcessMind, consultez Configurer votre jeu de données et Qualité des données.

Pourquoi le nettoyage et la préparation des données sont-ils importants ?

Le Process Mining repose sur des journaux d’événements, c’est-à-dire des jeux de données qui contiennent la séquence détaillée des activités d’un processus métier. Si ces jeux de données sont incomplets, incohérents ou erronés, les analyses obtenues ne sont pas fiables. Des données propres et correctement structurées permettent à l’outil de cartographier les flux de travail, de détecter les goulots d’étranglement et de mettre en évidence les possibilités d’amélioration.

Principales étapes du nettoyage et de la préparation des données

1. Collecter les données de tous les systèmes concernés

Les données proviennent généralement de plusieurs systèmes : un ERP pour les commandes et les factures, un CRM pour les étapes liées aux clients, et un outil de service desk pour les tickets. Collectez-les tous avant de commencer le nettoyage, car une étape enregistrée dans un système exclu ne pourra pas être récupérée par la suite.

  • Consolidez les sources de données : répertoriez les systèmes qui enregistrent une partie du processus et effectuez un export depuis chacun d’eux. Un processus order-to-cash, par exemple, couvre un système commercial (par exemple, Salesforce) et un système financier (par exemple, SAP).
  • Décloisonnez les données : convenez avec les responsables du processus des systèmes à prendre en compte et des personnes autorisées à les exporter. Les données manquantes proviennent généralement d’un système non déclaré, et non d’une requête défectueuse. Des outils d’intégration, comme Apache NiFi, Talend, Informatica ou Power BI, peuvent fusionner plusieurs sources dans un même fichier.
  • Prévoyez les données impossibles à extraire : si une étape se déroule hors système, par exemple une approbation téléphonique ou une validation papier, enregistrez au moins son résultat dans un système numérique ou modélisez cette étape afin de préserver une vue complète du processus. Où trouver les données explique comment les rechercher système par système.

2. Supprimer les doublons

Les enregistrements en double faussent l’analyse en gonflant le nombre d’activités et en donnant l’impression qu’un événement s’est produit plusieurs fois. Identifiez-les à partir d’un identifiant de cas, d’une activité et d’un horodatage identiques, puis supprimez-les ou regroupez-les sur une seule ligne.

3. Traiter les données manquantes

Des horodatages, des activités ou des identifiants de cas manquants interrompent la séquence des événements et produisent des modèles de processus incomplets.

  • Identifiez les valeurs manquantes : recherchez les horodatages vides, les noms d’activité absents et les identifiants de cas nuls.
  • Comblez les lacunes : lorsque c’est possible, utilisez d’autres sources ou vos connaissances métier. Si un horodatage manque, les heures des événements voisins peuvent aider à l’estimer.
  • Modélisez au lieu d’inventer : pour les étapes qui n’ont jamais été enregistrées, ajoutez-les par modélisation des processus plutôt que de fabriquer des horodatages, afin de rapprocher le processus extrait des données et le processus documenté.
  • Imputez ou supprimez : pour les lacunes importantes, utilisez une technique d’imputation, par exemple le remplacement par la moyenne ou un modèle de régression. Si un cas ne peut pas être reconstitué, supprimez-le et indiquez-en la raison.

4. Normaliser les formats, les identifiants et les noms

  • Horodatages : utilisez partout un même format, par exemple YYYY-MM-DD HH:MM:SS. Si l’extrait mélange plusieurs fuseaux horaires, convertissez toutes les valeurs en UTC. Consultez la liste des formats de date pris en charge
  • Identifiants de cas : un même processus utilise souvent des identifiants différents selon les systèmes, par exemple un numéro de commande dans le CRM et un numéro de facture dans le système financier. Établissez une association entre ces identifiants, dans l’extrait ou au moyen d’une table de correspondance, afin que chaque événement soit rattaché à un même cas, et attribuez un identifiant unique à chaque instance de processus. Dans ProcessMind, vérifiez que la colonne d’identifiant de cas est associée de la même manière dans tous les jeux de données combinés ; consultez les attributs du jeu de données.
  • Noms des activités : les systèmes désignent souvent une même étape de manière différente. Choisissez une formulation unique pour chaque étape, par exemple « Approve Order » et « Order Approval » désignent la même activité.
  • Valeurs et types : conservez les nombres sous forme numérique, pour les coûts, les durées et les montants, et utilisez une seule unité par colonne.

5. Supprimer les événements non pertinents

Tous les événements enregistrés ne font pas partie du processus analysé. Les connexions au système, les nouvelles tentatives techniques et les tâches administratives encombrent la carte sans apporter d’informations utiles.

  • Excluez ce qui n’appartient pas au processus : appuyez-vous sur vos connaissances métier pour déterminer quels événements décrivent le processus et excluez les autres.
  • Choisissez le bon niveau de granularité : des événements trop généraux, comme « order handled », masquent les variations recherchées, tandis que des événements trop détaillés surchargent la carte de détails techniques. Regroupez les événements de bas niveau dans l’activité métier correspondante, en laissant les experts du processus déterminer la limite pertinente.

6. Traiter les valeurs aberrantes et le bruit

Les valeurs aberrantes donnent une image inexacte du fonctionnement habituel du processus : une tâche exceptionnellement longue en raison d’un événement rare peut fortement influencer les moyennes.

  • Identifiez-les : signalez les durées très éloignées de la plage habituelle pour cette étape.
  • Décidez de les conserver : une véritable exception, comme une défaillance rare mais importante, peut fournir une information utile. Une erreur de données, en revanche, ne le peut pas. Supprimez uniquement ce qui est erroné, et non ce qui est simplement gênant.

7. Vérifier l’ordre des événements

Si les événements ne sont pas dans le bon ordre, l’outil reconstitue un flux incorrect.

  • Validez la séquence : les événements de chaque cas doivent respecter l’ordre des horodatages. Si l’événement « Order Approved » précède « Order Created » dans un même cas, les horodatages doivent être vérifiés.
  • Triez par horodatage : triez les événements de chaque cas selon la colonne d’horodatage avant l’importation.

8. Traiter les jeux de données volumineux

Les extraits volumineux sont longs à préparer et à importer. Prévoyez donc leur taille au lieu de tenter de la contourner.

  • Utilisez un échantillon pour explorer, puis chargez l’ensemble pour analyser : un échantillon représentatif suffit pour vérifier la cohérence des événements extraits. Importez l’extrait complet lorsque l’analyse l’exige.
  • Importez progressivement : au lieu de tout remplacer, ajoutez les nouvelles périodes au moyen d’imports incrémentiels (delta).
  • Privilégiez les formats en colonnes : les fichiers Parquet et ORC sont moins volumineux et s’importent plus rapidement que les fichiers CSV ou Excel pour de grands volumes. Consultez Formats de données pris en charge.

9. Protéger les données sensibles

Les journaux d’événements contiennent des noms, des adresses, des numéros de client et des identifiants utilisateur. Traitez donc l’extrait comme des données à caractère personnel.

  • Anonymisez ou masquez les données : supprimez ou masquez les informations inutiles pour l’analyse, et conservez les identifiants utilisateur uniquement lorsque l’analyse des ressources l’exige.
  • Limitez les accès : communiquez l’extrait au plus petit nombre de personnes possible, selon le principe du besoin d’en connaître, et utilisez la gestion des accès par rôle pour les jeux de données importés.
  • Respectez les règles qui vous concernent : durées de conservation, chiffrement en transit et au repos, ainsi que les réglementations telles que le RGPD pour les données clients.

10. Créer le journal d’événements

Une fois les données nettoyées, cohérentes et ordonnées, créez le journal d’événements, le jeu de données principal du Process Mining. Chaque journal doit contenir :

  • Identifiant de cas : un identifiant unique pour chaque instance de processus.
  • Activité : le nom de l’étape qui s’est produite.
  • Horodatage : le moment où l’événement s’est produit, ce qui permet d’en déterminer l’ordre.

Les colonnes facultatives apportent davantage de contexte : la ressource, le service, le coût ou tout attribut personnalisé selon lequel vous souhaitez segmenter le processus. L’ensemble des exigences est présenté dans Formats de données pris en charge.

11. Valider le jeu de données

Avant de vous fier aux résultats, vérifiez que le jeu de données représente bien le processus que vous pensez analyser.

  • Vérifiez quelques cas : parcourez de bout en bout plusieurs instances de processus et confirmez que les séquences d’événements sont cohérentes.
  • Exécutez une analyse de test : extrayez le processus une première fois et recherchez les incohérences évidentes, comme des activités qui ne se produisent jamais, un événement de début ou de fin incorrect, ou des cas qui auraient dû être clôturés.
  • Confirmez avec les responsables du processus : les experts métier peuvent vous indiquer en quelques minutes si les données reflètent le fonctionnement réel du travail.

Nettoyer les données dans ProcessMind

Une grande partie de la préparation décrite ci-dessus peut être effectuée dans ProcessMind après l’importation :

  • Associez et configurez les colonnes : définissez les noms d’affichage, les types de données et les formats d’horodatage dans les attributs du jeu de données, sans modifier le fichier source.
  • Vérifiez la qualité : le tableau de bord Qualité des données signale les valeurs manquantes et les incohérences afin que vous puissiez les corriger avant l’analyse, tandis que les recommandations de données par l’IA suggèrent des associations et des corrections.
  • Masquez ou filtrez les données non pertinentes : masquez les colonnes dans les attributs du jeu de données et utilisez les filtres pour exclure les événements inutiles.
  • Rechargez les données au lieu de les importer à nouveau : remplacez les données sur place ou utilisez des imports incrémentiels (delta) pour les jeux de données qui s’enrichissent continuellement.

Pour nettoyer les données en dehors de ProcessMind, vous pouvez utiliser avant l’importation des outils généralistes comme Python/Pandas, Excel ou Google Sheets, des outils ETL ou OpenRefine. Pour consulter le guide complet, consacré notamment aux noms, aux formats, au chargement incrémentiel et à l’archivage, voir ETL pour le Process Mining.

Sujets connexes