Ferramentas de ETL para Process Mining

ETL para Process Mining

O Process Mining depende de dados provenientes de vários sistemas, o que torna o ETL uma etapa essencial. ETL significa Extract, Transform, Load, ou seja, extrair, transformar e carregar. O processo extrai dados dos sistemas de origem, transforma-os para análise e carrega-os em um data warehouse ou em uma plataforma de Process Mining. Esse Workflow ajuda você a coletar, limpar, organizar e preparar os dados para gerar insights confiáveis sobre os processos.

Veja como usar o ETL de forma eficiente no Process Mining.

Abordagem geral

A regra mais importante é simples: não tenha pressa para extrair os dados. Isso custa tempo e dinheiro.

Comece definindo os objetivos do projeto e identificando os processos que você quer analisar. Escolha um processo e crie um esboço rápido com um modelo BPMN. Adicione dados ao modelo com base nos objetivos do projeto. Comece pelos dados disponíveis com facilidade, como arquivos do Excel, dados fáceis de exportar ou dados já usados em outras análises. Depois, identifique as lacunas e extraia apenas o que você precisa para atingir seus objetivos. Resista à tentação de coletar tudo “por precaução”. O excesso de dados atrasa o trabalho. A velocidade do seu ciclo de melhoria contínua geralmente depende mais da coleta de dados do que da implementação.

Comece com carregamentos simples de arquivos. Automatize o carregamento de dados apenas quando fizer sentido, por exemplo, quando os dados mudam com frequência e você precisa de análise contínua. Em muitos casos, a análise estática oferece mais estabilidade. Seja qual for a abordagem escolhida, não deixe que ela atrase você. Carregar dados trimestralmente em poucos minutos é melhor do que passar semanas automatizando o processo e só depois descobrir que os dados estão incorretos ou são insuficientes para o seu caso de negócio.

De quais dados você precisa?

O Process Mining exige três pontos de dados: um ID de caso, um timestamp e uma atividade. Dados adicionais, como custo, usuário, equipe ou pegada de CO2, podem acrescentar contexto à sua análise. Você também pode incluir dimensões extras para gráficos e medidas adicionais para métricas.

Obter dados para Process Mining geralmente é simples, porque os campos necessários são comuns. O mais difícil pode ser criar um único conjunto de dados com todas as informações necessárias. Talvez você precise fazer transformações significativas para combinar e padronizar fontes de dados separadas em um único arquivo.

Você não precisa de tudo de uma vez. Comece com o que já tem.

De qual formato de dados você precisa?

Embora existam formatos de dados avançados, a maioria das ferramentas ainda depende de arquivos de texto simples. Use arquivos separados por vírgulas (CSV) ou por tabulações (TSV/TXT). Evite arquivos de texto com largura fixa, porque a maioria das ferramentas não consegue processá-los.

Cada arquivo deve começar com uma linha de cabeçalho, seguida por linhas de dados que correspondam aos campos do cabeçalho e à ordem em que aparecem.

Se você precisar de caracteres que não sejam do inglês, use a codificação UTF-8. Verifique se os campos não contêm separadores nem caracteres de fim de linha. Você pode colocar os campos entre aspas, mas evite usar aspas dentro deles. Se necessário, substitua as aspas internas por outro caractere para simplificar o processamento.

Dados disponíveis com facilidade

Comece listando os dados que você consegue acessar facilmente. Considere estas fontes:

• Relatórios mensais ou semanais do Excel com dados brutos. Use o Excel para reformatar os dados, se necessário.
• Dados de Process Mining provenientes de outras ferramentas, que geralmente não exigem pré-processamento adicional.
• Exportações padrão de sistemas como RH, finanças ou ITSM. Exporte os dados em um formato compatível com sua ferramenta de Process Mining.
• Exportações de ferramentas analíticas que geram relatórios sobre os dados de que você precisa. Use tabelas dinâmicas e exportações para criar o formato correto.
• Data warehouses com dados limpos e combinados. Use as ferramentas do warehouse para selecionar e exportar os dados como CSV.

Sistemas de processos

Os dados geralmente ficam armazenados em sistemas como SAP, Workday, Salesforce ou ServiceNow. Primeiro, verifique se uma exportação simples atende às suas necessidades. Normalmente, essa é a maneira mais rápida de gerar valor. Se não for suficiente, use ferramentas de ETL para extrair, transformar e carregar os dados na sua ferramenta de Process Mining.

Dependendo da sua organização, talvez seja necessário envolver a equipe de TI, os responsáveis pelos sistemas ou as equipes de data warehouse. Isso pode tornar a coleta de dados mais lenta, mas não deixe essas equipes de fora. Elas têm procedimentos e experiência que podem acelerar o processo. Trabalhe com elas em um ciclo ágil. Comece pelos dados que já estão disponíveis e evite solicitar tudo de uma vez, pois isso pode causar atrasos.

No início, solicite os dados em formato de texto. Depois, automatize o processo usando a API da sua ferramenta de Process Mining ou as ferramentas de ETL integradas.

Ferramentas de ETL integradas às ferramentas de Process Mining

Em geral, não recomendamos usar as ferramentas de ETL integradas dos fornecedores de Process Mining. Elas podem parecer convenientes, mas têm limitações importantes:

• Qualidade inferior à das ferramentas de ETL especializadas.
• Tecnologia proprietária em vez de padrões do mercado, como SQL, o que aumenta a necessidade de treinamento e reduz a disponibilidade de profissionais especializados.
• Dependência do fornecedor, dificultando a troca de ferramenta.
• Silos de dados que limitam a reutilização em outros projetos de analytics ou IA.

Ferramentas de ETL de terceiros

Muitas ferramentas de ETL de terceiros podem dar suporte ao Process Mining. Embora o Process Mining exija dados específicos, as operações subjacentes são padrão.

Prefira ferramentas baseadas em SQL para poder reutilizar a lógica de ETL e mantê-la no longo prazo. Use as ferramentas que você já tem internamente para evitar atrasos ou bloqueios no projeto causados pela adoção de uma nova tecnologia.

Entre as ferramentas de ETL de terceiros mais usadas em Process Mining estão:

• CData: Excelente para extração de dados e frequentemente usada com outras ferramentas.
• dbt: Ferramenta de transformação baseada em SQL, com recursos para lidar com transformações de grande escala.
• BigQuery: Data warehouse gerenciado do Google, desenvolvido para consultas SQL rápidas em grandes conjuntos de dados.
• Snowflake: Plataforma baseada em nuvem para armazenamento e computação escaláveis, usada em transformação e análise de dados.
• DataBricks: Plataforma unificada de analytics que combina engenharia de dados, machine learning e analytics.
• Talend: Ferramenta gráfica de ETL compatível com várias fontes de dados.
• Apache Nifi: Ferramenta de ETL open source para automatizar fluxos de dados e processá-los em tempo real.

Ferramentas de ETL especializadas em Process Mining

As ferramentas de ETL especializadas em Process Mining combinam os benefícios das ferramentas de ETL de terceiros com recursos e Templates de Process Mining.

Veja alguns exemplos:

• Evidant: Data Transform Refinery. Concentra-se na extração e transformação de dados de Process Mining em grande escala.
• Konekti: Desenvolvida para criar modelos de dados de processos precisos com rapidez.

Gerenciando os dados depois do carregamento

A extração é apenas metade do gerenciamento de dados. A forma como você organiza os conjuntos de dados depois disso determina se a análise continuará confiável.

• Dê nomes aos conjuntos de dados com base no conteúdo. Q1_2025_Sales_Data ou Customer_Support_Logs é melhor do que export_final_v3. Use cores para agrupar conjuntos de dados relacionados e dê a cada conjunto um nome específico do processo quando ele tiver uma função própria.
• Escolha o formato adequado à tarefa. CSV ou Excel funcionam bem para arquivos pequenos e médios carregados manualmente; Parquet ou ORC compensam em conjuntos de dados grandes e pipelines automatizados.
• Faça uma prévia antes de analisar. Verifique a estrutura, os tipos das colunas e algumas linhas antes de mapear, e confirme as colunas necessárias para Process Mining: ID do caso, atividade e registro de data e hora (campos de Process Mining).
• Mapeie com intenção. Deixe o mapeamento automático fazer a primeira etapa e depois revise as atividades não mapeadas. Geralmente é aí que ficam as etapas de processo mais interessantes. Etapas que existem na realidade, mas não deixam rastros nos dados, podem ser marcadas como fluxo de dados, mantendo a visibilidade sem distorcer os números.
• Amplie os dados em vez de substituí-los. Para exportações recorrentes, use o carregamento incremental para acrescentar novas linhas em vez de carregar o arquivo inteiro novamente.
• Combine ou separe com propósito. Conjuntos de dados que compartilham atributos podem ser combinados em uma única visualização para simulação e análise; conjuntos muito diferentes devem permanecer separados, cada um com seus próprios atributos de filtragem.
• Mantenha filtros e métricas sob controle. Um filtro útil em março pode confundir o Dashboard em junho. Remova os filtros quando a pergunta que eles respondiam estiver encerrada e mostre apenas as métricas que alguém realmente consulta.
• Controle o acesso e depois arquive. Conceda acesso ao conjunto de dados às pessoas que precisam dele e arquive conjuntos desatualizados em vez de deixá-los no processo ativo.

Conclusão

ETL não é o objetivo de um projeto de Process Mining, mas muitas vezes é necessário. Estruture seu processo de ETL para evitar atrasos:

• Use os dados que já estão disponíveis.
• Comece com uploads manuais e automatize quando fizer sentido.
• Use as ferramentas existentes, dando preferência ao SQL.

Acima de tudo, comece pequeno, usando os dados de que você precisa, e amplie gradualmente. Tentar coletar tudo logo no início pode comprometer o projeto.