Nesta página
> recursos > documentação > dados mineracao processos > Limpeza e preparação de dados para Process Mining

Limpeza e preparação de dados para Process Mining

Process Intelligence Process Intelligence Disponível a partir da licença Inteligência de processos. Somente licenças deste plano ou de planos superiores podem usar este recurso. Compare os planos Disponível a partir da licença de Inteligência de processos

Uma mineração de processos eficaz começa com dados de qualidade. Na maioria das vezes, o trabalho se resume a alguns problemas recorrentes: eventos que nunca foram registrados, identificadores que não correspondem entre sistemas, formatos incompatíveis e extrações grandes ou sensíveis demais para serem tratadas sem cuidado. Esta página explica esses problemas e como resolvê-los. Para fazer esse trabalho no ProcessMind, consulte Como configurar seu conjunto de dados e Qualidade dos dados.

Por que a limpeza e a preparação de dados são importantes?

O Process Mining depende de Event Logs: conjuntos de dados que contêm a sequência detalhada de atividades de um processo de negócio. Se esses dados estiverem incompletos, inconsistentes ou tiverem erros, os insights obtidos não serão confiáveis. Dados limpos e bem estruturados permitem que a ferramenta mapeie fluxos de trabalho, detecte gargalos e destaque oportunidades de melhoria.

Etapas principais da limpeza e preparação de dados

1. Colete dados de todos os sistemas envolvidos

Em geral, os dados vêm de vários sistemas: um ERP para pedidos e faturas, um CRM para etapas relacionadas aos clientes e uma central de serviços para chamados. Reúna dados de todos eles antes de começar a limpeza. Se uma etapa estiver em um sistema que você deixou de fora, não será possível recuperá-la depois.

  • Consolide as fontes de dados: liste os sistemas que registram partes do processo e extraia os dados de cada um. Um processo de pedido ao recebimento, por exemplo, envolve um sistema de vendas (como o Salesforce) e um sistema financeiro (como o SAP).
  • Elimine os silos: combine com os responsáveis pelo processo quais sistemas devem ser incluídos e quem pode exportar os dados. Em geral, os dados ausentes vêm de um sistema que não foi informado, e não de uma consulta com erro. Ferramentas de integração, como Apache NiFi, Talend, Informatica ou Power BI, podem reunir várias fontes em um único arquivo.
  • Planeje como lidar com o que não pode ser extraído: se uma etapa acontece fora dos sistemas, como uma aprovação por telefone ou em papel, registre pelo menos o resultado em um sistema digital ou modele a etapa para manter completa a visualização do processo. Onde obter dados explica como buscar dados em cada sistema.

2. Remova as duplicatas

Registros duplicados distorcem a análise, aumentam a contagem de atividades e fazem um evento parecer vários. Identifique-os pelo mesmo ID do caso, atividade e registro de data e hora. Depois, remova as duplicatas ou reúna os registros em uma única linha.

3. Trate os dados ausentes

Registros de data e hora, atividades ou IDs de caso ausentes interrompem a sequência de eventos e geram modelos de processo incompletos.

  • Identifique os valores ausentes: procure registros de data e hora em branco, nomes de atividade vazios e IDs de caso nulos.
  • Preencha as lacunas: quando possível, use outras fontes ou o conhecimento da área. Se faltar um registro de data e hora, os horários dos eventos próximos podem ajudar a estimá-lo.
  • Modele em vez de inventar: para etapas que nunca foram registradas, adicione-as por meio da modelagem de processos, em vez de inventar registros de data e hora. Assim, o processo identificado nos dados e o processo documentado ficam alinhados.
  • Estime ou remova: para lacunas críticas, use uma técnica de imputação, como substituição pela média ou um modelo de regressão. Se não for possível recuperar um caso, remova-o e registre o motivo.

4. Padronize formatos, IDs e nomes

  • Registros de data e hora: use o mesmo formato em todos os dados (por exemplo, YYYY-MM-DD HH:MM:SS). Se a extração combinar fusos horários, converta tudo para UTC. Consulte a lista de formatos de data compatíveis
  • IDs de caso: muitas vezes, o mesmo processo tem identificadores diferentes em cada sistema, como o número do pedido no CRM e o número da fatura no financeiro. Crie uma correspondência entre eles, na extração ou em uma tabela de referência, para que cada evento fique associado a um único caso. Atribua um ID exclusivo a cada instância do processo. No ProcessMind, confira se a coluna de ID do caso está mapeada da mesma forma em todos os conjuntos de dados combinados. Consulte atributos do conjunto de dados.
  • Nomes das atividades: os sistemas podem usar nomes diferentes para a mesma etapa. Defina um único nome para cada etapa. “Aprovar pedido” e “Aprovação do pedido”, por exemplo, são a mesma atividade.
  • Valores e tipos: mantenha os números como números, como custos, durações e valores, e use uma única unidade por coluna.

5. Remova eventos irrelevantes

Nem todo evento registrado faz parte do processo que você está analisando. Logins no sistema, novas tentativas técnicas e tarefas administrativas poluem o mapa sem acrescentar insights.

  • Filtre o que não faz parte do processo: use o conhecimento da área para decidir quais eventos descrevem o processo e exclua os demais.
  • Escolha o nível de detalhe adequado: eventos genéricos demais, como “pedido processado”, ocultam as variações que você procura. Já os detalhados demais enchem o mapa de informações técnicas. Agrupe eventos de baixo nível na atividade de negócio correspondente e deixe os especialistas do processo definirem o limite.

6. Trate valores atípicos e ruídos

Valores atípicos podem distorcer a visão de como o processo costuma funcionar. Uma tarefa que levou muito tempo por causa de um evento raro pode influenciar demais as médias.

  • Identifique os valores atípicos: sinalize durações muito fora do intervalo normal para aquela etapa.
  • Decida se deve mantê-los: uma exceção real, como uma falha rara, mas crítica, pode trazer um insight importante. Um erro nos dados, não. Remova apenas o que estiver errado, não o que for inconveniente.

7. Confira a ordem dos eventos

Se os eventos estiverem fora de ordem, a ferramenta mostrará o fluxo errado.

  • Valide a sequência: os eventos de cada caso devem seguir a ordem dos registros de data e hora. Se “Pedido aprovado” aparecer antes de “Pedido criado” no mesmo caso, confira os registros de data e hora.
  • Ordene pelos registros de data e hora: antes de carregar os dados, ordene os eventos de cada caso pela coluna de registro de data e hora.

8. Trabalhe com grandes conjuntos de dados

Extrações grandes demoram mais para preparar e carregar. Planeje como lidar com o volume, em vez de tentar contorná-lo.

  • Use uma amostra para explorar e carregue os dados para analisar: uma amostra representativa basta para verificar se os eventos extraídos fazem sentido. Carregue a extração completa quando a análise exigir.
  • Carregue os dados de forma incremental: em vez de substituir tudo, acrescente novos períodos com carregamentos incrementais (delta).
  • Prefira formatos colunares: para grandes volumes, arquivos Parquet e ORC são menores e carregam mais rápido do que CSV ou Excel. Consulte Formatos de dados compatíveis.

9. Proteja os dados sensíveis

Event Logs podem conter nomes, endereços, números de clientes e IDs de usuários. Por isso, trate a extração como dado pessoal.

  • Anonimize ou mascare os dados: remova ou mascare o que não for necessário para a análise. Mantenha os IDs de usuários apenas quando a análise de recursos exigir.
  • Limite o acesso: compartilhe a extração com o menor número possível de pessoas, apenas quando necessário, e use o controle de acesso baseado em funções para os conjuntos de dados carregados.
  • Siga as regras aplicáveis: respeite os limites de retenção, use criptografia durante a transmissão e no armazenamento e cumpra regulamentações como a LGPD para dados de clientes.

10. Crie o Event Log

Quando os dados estiverem limpos, consistentes e ordenados, crie o Event Log, o conjunto de dados principal para Process Mining. Todo Event Log precisa de:

  • ID do caso: identificador exclusivo de cada instância do processo.
  • Atividade: nome da etapa que ocorreu.
  • Registro de data e hora: indica quando o evento ocorreu e define a ordem dos eventos.

Colunas opcionais acrescentam contexto: recurso (pessoa ou equipe), departamento, custo ou qualquer atributo personalizado que você queira usar para segmentar o processo. A lista completa de requisitos está em Formatos de dados compatíveis.

11. Valide o conjunto de dados

Antes de confiar nos resultados, confira se o conjunto de dados representa o processo que você pretende analisar.

  • Confira alguns casos: acompanhe algumas instâncias do processo do início ao fim e confirme se as sequências de eventos fazem sentido.
  • Faça uma análise de teste: faça a mineração do processo uma vez e procure inconsistências evidentes, como atividades que nunca acontecem, eventos de início ou fim incorretos e casos que deveriam ter sido encerrados.
  • Confirme com os responsáveis pelo processo: especialistas de negócio podem dizer em poucos minutos se os dados refletem como o trabalho realmente acontece.

Limpeza de dados no ProcessMind

Depois de carregar os dados, você pode fazer boa parte da preparação descrita acima no ProcessMind:

Para limpar os dados fora do ProcessMind, você pode usar ferramentas de uso geral, como Python/Pandas, Excel, Google Sheets, ferramentas de ETL ou OpenRefine, antes de carregá-los. Para ver as orientações mais amplas sobre nomes, formatos, carregamento incremental e arquivamento, consulte ETL para Process Mining.

Tópicos relacionados