Chargement incrémentiel des données

Qu’est-ce que le chargement incrémentiel des données ?

Le chargement incrémentiel des données, aussi appelé chargement delta, permet d’ajouter de nouvelles lignes à une table existante sans remplacer les données d’origine. Cette méthode est utile lorsque le journal d’événements s’enrichit au fil du temps et que vous souhaitez actualiser votre analyse Process Mining sans importer à nouveau l’ensemble du jeu de données.

Voici quelques cas d’usage courants :

• Exports quotidiens ou hebdomadaires : ajoutez les transactions, commandes ou cas au fur et à mesure de leur disponibilité.
• Suivi continu des processus : actualisez vos Dashboards en ajoutant régulièrement de nouvelles données.
• Journaux d’événements qui s’enrichissent : ajoutez progressivement les nouveaux événements provenant de systèmes ERP, d’outils CRM ou d’autres sources.

Conditions requises

• La table doit déjà contenir des données issues d’un premier import.
• Le fichier delta doit être au même format que le fichier importé à l’origine :
  • les fichiers CSV nécessitent des fichiers delta CSV
  • les fichiers Parquet nécessitent des fichiers delta Parquet
  • les fichiers ORC nécessitent des fichiers delta ORC
  • les fichiers JSONL nécessitent des fichiers delta JSONL
• Les fichiers Excel (XLSX/XLS/XLSB) et XES ne sont pas pris en charge pour les imports delta. Convertissez-les d’abord au format CSV.
• Les noms de colonnes du fichier delta doivent correspondre à ceux du fichier importé à l’origine.
• Les fichiers delta peuvent être compressés au format gzip (.gz), à condition que leur format interne corresponde à celui du fichier importé à l’origine.

Importer des données de façon incrémentielle

Avec l’API

Utilisez l’API ProcessMind pour importer des fichiers delta par programmation. Consultez la page Référence de l’API : données pour obtenir la liste complète des points de terminaison.

La procédure est la suivante :

1. Obtenez une URL d’import présignée pour le fichier delta :

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Importez le fichier delta à l’aide de l’URL présignée :

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Une fois l’import terminé, ProcessMind traite automatiquement le fichier delta et le combine avec les données d’origine. Vous pouvez interroger GET /datatables/{dataTableId} jusqu’à ce que hasDataLoaded soit true pour savoir quand le traitement est terminé.

Depuis l’interface

Vous pouvez également lancer le chargement incrémentiel depuis l’onglet Général du jeu de données dans l’application ProcessMind :

1. Activez l’interrupteur Ajouter pour passer de la zone d’import Remplacer les données à la zone Ajouter des données.
2. Déposez le nouveau fichier dans la zone Ajouter des données, ou cliquez dessus pour parcourir vos fichiers et le sélectionner.

ProcessMind importe le fichier comme un delta et le traite avec les données existantes. Les imports delta doivent être lancés explicitement : ils ne sont jamais détectés automatiquement lors d’un import normal (remplacement).

Consulter les parties importées

Après un ou plusieurs imports incrémentiels, l’historique des imports de la table comprend un tableau uploadParts qui répertorie chaque fichier :

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Bonnes pratiques

• Utilisez des noms de colonnes cohérents dans tous les fichiers pour éviter les problèmes d’alignement des données.
• Importez les fichiers dans l’ordre chronologique lorsque c’est possible, afin que l’historique des imports reflète la chronologie des données.
• Veillez à ce que les fichiers delta restent de taille raisonnable : importez les données par lots de taille modérée. Un grand nombre de fichiers très petits peut ralentir le traitement.
• Vérifiez le nombre de lignes après chaque import delta pour confirmer que les données ont été chargées correctement.

Comportement en cas de différence de schéma

ProcessMind n’impose pas de schéma strict entre les différentes parties importées. Cela signifie que :

• Les colonnes supplémentaires des fichiers delta sont ignorées lors du traitement : seules les colonnes présentes dans le schéma du fichier importé à l’origine sont utilisées.
• Les colonnes manquantes prennent la valeur null ou restent vides dans les lignes du fichier delta.
• Les noms de colonnes différents sont considérés comme des colonnes distinctes. Les lignes du fichier delta contiennent alors des valeurs null pour les colonnes attendues.

Pour obtenir les meilleurs résultats, veillez à ce que tous les fichiers delta aient la même structure de colonnes que le fichier importé à l’origine.