Carregamento incremental de dados

O que é o carregamento incremental de dados?

O carregamento incremental de dados, também chamado de carregamento delta, permite anexar novas linhas a uma tabela existente sem substituir os dados originais. Esse recurso é útil quando os dados do Event Log aumentam com o tempo e você quer manter a análise de mineração de processos atualizada sem carregar o dataset inteiro novamente.

Alguns cenários comuns:

• Exportações diárias ou semanais de dados: anexe novas transações, pedidos ou casos à medida que estiverem disponíveis.
• Monitoramento contínuo de processos: mantenha seus dashboards atualizados adicionando dados recentes regularmente.
• Event Logs em crescimento: adicione novos eventos de sistemas ERP, ferramentas de CRM ou outras fontes de forma incremental.

Requisitos

• A tabela precisa ter um carregamento inicial com dados.
• O arquivo delta precisa estar no mesmo formato do carregamento original:
  • Arquivos CSV exigem arquivos delta CSV
  • Arquivos Parquet exigem arquivos delta Parquet
  • Arquivos ORC exigem arquivos delta ORC
  • Arquivos JSONL exigem arquivos delta JSONL
• Arquivos Excel (XLSX/XLS/XLSB) e XES não são compatíveis com carregamentos delta. Converta-os para CSV primeiro.
• Os nomes das colunas do arquivo delta devem corresponder aos do carregamento original.
• Os arquivos delta podem ser compactados com gzip (.gz), desde que o formato interno corresponda ao formato do carregamento original.

Carregue dados incrementais

Pela API

Use a API do ProcessMind para carregar arquivos delta por programação. Consulte a página Referência da API: dados para ver os detalhes completos dos endpoints.

O fluxo de trabalho é o seguinte:

1. Obtenha uma URL pré-assinada para carregar o delta:

   GET /v1/tenant/{tenantId}/datatables/{dataTableId}/uploads/presigned-url
       ?delta=true&filename=delta.csv&filesize=1024&filelastmodified=1704067200000

2. Carregue o arquivo delta usando a URL pré-assinada:

   curl -X PUT --upload-file "delta.csv" \
       -H "Content-Type: text/csv" \
       "{PreSignedUploadUrl}"

Após o carregamento, o ProcessMind processa o delta automaticamente e o combina com os dados originais. Você pode consultar GET /datatables/{dataTableId} até que hasDataLoaded esteja true para saber quando o processamento terminou.

Pela interface

Você também pode iniciar o carregamento incremental de dados na aba Geral do dataset no aplicativo ProcessMind:

1. Ative a opção Anexar para mudar a área de carregamento de Substituir dados para Anexar dados.
2. Arraste o novo arquivo para a área Anexar dados ou clique nela para procurar e selecionar o arquivo.

O ProcessMind carrega o arquivo como um delta e o processa junto com os dados existentes. O carregamento delta é uma ação explícita: o sistema nunca o identifica automaticamente em um carregamento normal, que substitui os dados.

Consulte as partes carregadas

Após um ou mais carregamentos incrementais, o histórico de carregamentos da tabela inclui uma matriz uploadParts que registra cada arquivo:

{
	"uploadHistory": {
		"uploadParts": [
			{
				"key": "datatable/123/2.csv",
				"fileName": "orders-january.csv",
				"fileSize": 524288,
				"uploadedAt": "2024-01-15T10:00:00Z"
			},
			{
				"key": "datatable/123/3.csv",
				"fileName": "orders-february.csv",
				"fileSize": 419430,
				"uploadedAt": "2024-02-15T10:00:00Z"
			}
		]
	}
}

Boas práticas

• Use nomes de coluna consistentes em todos os arquivos para evitar problemas de alinhamento dos dados.
• Carregue os dados em ordem cronológica sempre que possível, para que o histórico de carregamentos reflita a linha do tempo dos dados.
• Mantenha os arquivos delta em um tamanho razoável: carregue os dados em lotes moderados. Um grande número de arquivos pequenos pode deixar o processamento mais lento.
• Confira a contagem de linhas após cada delta para verificar se os dados foram carregados corretamente.

O que acontece quando o esquema não corresponde

O ProcessMind não exige que as partes carregadas tenham esquemas idênticos. Isso significa que:

• Colunas extras nos arquivos delta são ignoradas durante o processamento. Apenas as colunas presentes no esquema do carregamento original são usadas.
• Colunas ausentes recebem valores nulos ou vazios nas linhas do delta.
• Nomes de coluna diferentes são tratados como colunas distintas. As linhas do delta terão valores nulos nas colunas esperadas.

Para obter os melhores resultados, confira se todos os arquivos delta têm a mesma estrutura de colunas do carregamento original.