Formats de données pris en charge pour les journaux d’événements

Formats de fichiers pris en charge pour l’import des données

ProcessMind prend en charge de nombreux formats de fichiers pour l’import des journaux d’événements. Vous pouvez tous les importer depuis l’interface de l’application ou via l’API.

Formats texte

• .csv : valeurs séparées par des virgules. Format courant et léger, exportable depuis la plupart des systèmes, notamment Excel et les ERP. Les séparateurs sont détectés automatiquement.
• .tsv : valeurs séparées par des tabulations. Similaire au CSV, mais utilise des tabulations à la place des virgules. Pratique lorsque les données contiennent des virgules.
• .txt : fichiers texte brut. Ils peuvent être utilisés si les données suivent un format délimité cohérent.
• .xes : format standard des journaux d’événements utilisés par les outils de Process Mining. Idéal pour le suivi détaillé des activités avec leurs horodatages et identifiants de cas.

Formats Excel

• .xls : ancien format de feuille de calcul Excel. Il est pris en charge, mais son chargement peut être plus lent qu’avec les formats récents.
• .xlsx : format Excel moderne, largement utilisé et entièrement pris en charge. Il est souvent privilégié pour les données structurées.
• .xlsb : classeur Excel binaire. Il se charge plus rapidement et gère mieux les grands jeux de données que le format .xlsx, mais sa compatibilité est moins universelle.

Formats binaires et en colonnes

• .parquet : format Apache Parquet. Format de stockage en colonnes optimisé pour l’analyse. Il convient aux grands jeux de données et est nettement plus rapide que le CSV pour les volumes importants. Prend en charge les importations incrémentielles (delta).
• .orc : format Optimized Row Columnar (ORC). Autre format en colonnes efficace, courant dans les écosystèmes Hadoop et Spark. Prend en charge les importations incrémentielles (delta).
• .jsonl / .ndjson : format JSON Lines. Chaque ligne contient un objet JSON distinct. Il convient aux exportations de données en continu depuis des API et des systèmes de journalisation. Prend en charge les importations incrémentielles (delta).

Fichiers compressés

• .gz : fichiers compressés au format gzip. Tous les formats ci-dessus peuvent être compressés avec gzip, par exemple data.csv.gz ou data.parquet.gz. ProcessMind détecte automatiquement le format du fichier contenu et le décompresse si nécessaire. La compression gzip peut réduire le temps d’import des fichiers volumineux.

Exigences générales concernant la structure des fichiers

Pour effectuer correctement un Process Mining dans ProcessMind, les fichiers importés, qu’ils soient au format Excel, texte ou XML, doivent respecter certaines règles de structure. L’application peut ainsi interpréter les données correctement et produire une analyse précise.

1. Ligne d’en-tête (Excel ou format texte)

• Le fichier doit commencer par une ligne d’en-tête, placée sur la première ligne (par exemple, la cellule A1 dans un fichier Excel ou la ligne 1 dans un fichier CSV, TSV ou TXT). L’en-tête définit les noms des colonnes et doit indiquer clairement le type de données de chacune (par exemple, « ID de cas », « Activité », « Horodatage »).
• Pour les formats CSV, TSV et TXT, les séparateurs et les guillemets sont détectés automatiquement. Vous pouvez ainsi importer vos données sans avoir à définir ces paramètres manuellement.
• Pour les formats Parquet et ORC, les noms de colonnes et les types de données sont lus directement dans le schéma intégré au fichier : aucune ligne d’en-tête n’est nécessaire.
• Pour les formats JSONL/NDJSON, les noms des colonnes sont déduits des clés JSON présentes sur la première ligne du fichier.

2. Attributs minimaux requis

Pour respecter la structure d’un journal d’événements destiné au Process Mining, votre fichier doit contenir au minimum les attributs (colonnes) suivants. Les noms de colonnes peuvent être différents (ID de cas, Activité, etc.), mais leur contenu doit correspondre aux éléments indiqués.

• Identifiant du cas : cette colonne identifie de manière unique chaque instance de processus (ou cas). Toutes les lignes correspondant à une même instance doivent avoir le même identifiant de cas.
• Activité : cette colonne décrit l’activité ou l’événement enregistré (par exemple, « Commande créée » ou « Paiement traité »).
• Horodatage : chaque activité doit être associée à un horodatage indiquant la date ou l’heure exacte de l’événement.
• Note : le format de l’horodatage est détecté automatiquement dans la mesure du possible. Les formats courants, comme yyyy-MM-dd HH:mm:ss, MM/dd/yyyy et d’autres, sont reconnus automatiquement.
• Attributs facultatifs : vous pouvez ajouter des colonnes pour enrichir votre analyse, par exemple :
• Ressource : indique qui a effectué l’activité (par exemple, un utilisateur ou un service).
• Coût : coûts associés à l’activité.
• Autres données personnalisées : vous pouvez inclure des champs personnalisés pertinents pour votre processus, à condition que les colonnes requises soient présentes.

Les colonnes exactes dépendent du processus que vous analysez. Nos guides d’amélioration des processus décrivent le schéma nécessaire à chaque processus : les champs obligatoires, les activités à enregistrer et un modèle de données à remplir.

3. Format des données

• Veillez à utiliser un format cohérent dans toutes les colonnes :
• Les horodatages doivent respecter un format standard et reconnu (par exemple, yyyy-MM-dd HH:mm:ss), mais ProcessMind tentera de détecter automatiquement le format de date s’il est différent.
• Évitez de laisser des lignes vides entre les entrées, car elles peuvent perturber l’importation.
• Dans Excel, les données numériques (par exemple, les coûts et les durées) doivent être au format numérique. Dans les fichiers texte (CSV, TSV, TXT), veillez à utiliser un format adapté.
• Pour les formats CSV, TSV et TXT, ProcessMind détecte automatiquement les séparateurs (virgules, tabulations, points-virgules, etc.) et traite les textes entre guillemets.

4. Sélection de la feuille (fichiers Excel uniquement)

• ProcessMind traite automatiquement les données de la première feuille de votre fichier Excel (XLS, XLSX ou XLSB), quel que soit son nom. Placez les données du journal d’événements requises sur la première feuille : les autres feuilles ne seront pas prises en compte lors de l’importation.

5. Format XES

Le format .xes (eXtensible Event Stream) est un format de fichier standard pour les journaux d’événements utilisés en Process Mining. Il contient des informations détaillées sur les instances de processus, notamment les identifiants de cas, les activités, les horodatages et d’autres attributs pertinents.

Il est largement pris en charge par les outils de Process Mining et convient particulièrement à la reconstitution fidèle du déroulement réel des processus.

Pour consulter les spécifications techniques et obtenir tous les détails, rendez-vous sur le site officiel de la norme XES.

6. Formats Parquet, ORC et JSONL

Parquet et ORC sont des formats binaires en colonnes couramment utilisés dans les pipelines d’ingénierie des données (Apache Spark, AWS Glue, Databricks, etc.). Leur schéma intégré permet à ProcessMind de détecter automatiquement les noms de colonnes et les types de données, sans configuration manuelle.

Les fichiers JSONL (JSON Lines, également appelé NDJSON) contiennent un objet JSON par ligne. Chaque objet représente un événement unique. Les clés JSON deviennent les noms des colonnes. Ce format est courant pour exporter des données depuis des API, des systèmes de journalisation ou des plateformes de diffusion en continu.

Ces trois formats :

• Importation possible depuis l’interface et via l’API ProcessMind
• Prise en charge des importations incrémentielles (delta)
• Compression gzip possible (.gz) pour accélérer le transfert

7. Conseils