Carga incremental de datos

¿Qué es la carga incremental de datos?

La carga incremental de datos, también llamada carga delta, permite anexar filas nuevas a una tabla existente sin reemplazar los datos originales. Es útil cuando el Registro de eventos crece con el tiempo y quiere mantener actualizado el análisis de Process Mining sin volver a cargar todo el conjunto de datos.

Algunos casos habituales son:

• Exportaciones diarias o semanales de datos: anexe transacciones, pedidos o casos nuevos a medida que estén disponibles.
• Supervisión continua de procesos: mantenga sus Dashboards actualizados añadiendo datos recientes con regularidad.
• Registros de eventos en crecimiento: añada gradualmente eventos nuevos de sistemas ERP, herramientas CRM u otras fuentes.

Requisitos

• La tabla debe tener una carga inicial con datos.
• El archivo delta debe tener el mismo formato que la carga original:
  • Los archivos CSV requieren archivos delta CSV.
  • Los archivos Parquet requieren archivos delta Parquet.
  • Los archivos ORC requieren archivos delta ORC.
  • Los archivos JSONL requieren archivos delta JSONL.
• No se admiten archivos Excel (XLSX/XLS/XLSB) ni XES para cargas delta. Primero, conviértalos a CSV.
• Los nombres de las columnas del archivo delta deben coincidir con los de la carga original.
• Los archivos delta pueden comprimirse con gzip (.gz), siempre que el formato interno coincida con el de la carga original.

Cargar datos de forma incremental

Mediante la API

Utilice la API de ProcessMind para cargar archivos delta mediante programación. Consulte la página Referencia de la API: Datos para obtener información detallada sobre los endpoints.

El flujo de trabajo es el siguiente:

1. Obtenga una URL de carga delta prefirmada:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Cargue el archivo delta mediante la URL prefirmada:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Cuando termina la carga, ProcessMind procesa automáticamente el archivo delta y lo combina con los datos originales. Puede consultar GET /datatables/{dataTableId} hasta que hasDataLoaded sea true para saber cuándo termina el procesamiento.

Mediante la interfaz de usuario

También puede iniciar la carga incremental de datos desde la pestaña General del conjunto de datos en la aplicación ProcessMind:

1. Active el interruptor Anexar para cambiar el área de carga de Reemplazar datos a Anexar datos.
2. Arrastre el archivo nuevo al área Anexar datos o haga clic para buscarlo y seleccionarlo.

ProcessMind carga el archivo como delta y lo procesa junto con los datos existentes. Las cargas delta deben seleccionarse explícitamente: el sistema nunca las detecta automáticamente a partir de una carga normal (de reemplazo).

Consultar las partes de una carga

Después de una o varias cargas incrementales, el historial de cargas de la tabla incluye una matriz uploadParts que registra cada archivo:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Prácticas recomendadas

• Utilice nombres de columna coherentes en todos los archivos para evitar problemas de alineación de los datos.
• Cargue los archivos en orden cronológico siempre que sea posible, para que el historial de cargas refleje la cronología de los datos.
• Procure que los archivos delta tengan un tamaño razonable: cargue los datos en lotes moderados; una gran cantidad de archivos pequeños puede ralentizar el procesamiento.
• Compruebe el número de filas después de cada carga delta para verificar que los datos se hayan cargado correctamente.

Qué ocurre si el esquema no coincide

ProcessMind no exige que el esquema sea idéntico en todas las partes de una carga. Esto significa que:

• Las columnas adicionales de los archivos delta se ignoran durante el procesamiento. Solo se utilizan las columnas del esquema de la carga original.
• Las columnas que faltan generan valores nulos o vacíos en esos campos de las filas delta.
• Los nombres de columna diferentes se consideran columnas distintas. Por tanto, las filas delta tendrán valores nulos en las columnas esperadas.

Para obtener los mejores resultados, compruebe que todos los archivos delta tengan la misma estructura de columnas que la carga original.