Limpeza e Preparação de Data para Process Mining

Um Process Mining eficiente começa com data de boa qualidade, sendo fundamental realizar a limpeza e preparação desses dados. Data de baixa qualidade pode gerar insights imprecisos ou incompletos, dificultando a melhoria dos processos. Neste documento, mostramos as etapas principais para limpeza e preparação de data, garantindo que seus datasets estejam prontos para um Process Mining de sucesso.

Por Que a Limpeza e Preparação de Data É Importante?

Process Mining depende de event logs, datasets com a sequência detalhada das atividades do processo de negócio. Se os dados estiverem incompletos, inconsistentes ou com erros, os insights não serão confiáveis. Data limpo e estruturado garante que a ferramenta de Process Mining mapeie workflows com precisão, detecte gargalos e mostre oportunidades de melhoria.

Etapas Principais na Limpeza e Preparação de Data

1. Coleta e Integração de Data

O primeiro passo da limpeza é garantir que todos os dados relevantes sejam coletados dos diferentes sistemas envolvidos no processo. O data pode vir de diversas fontes, como ERP, CRM ou outros sistemas operacionais. Aqui entra a integração de data.

Consolide as fontes de data: Reúna dados de todos os sistemas que contribuem para o processo. Por exemplo: ao analisar um processo order-to-cash, colete dados do sistema de vendas (ex: Salesforce) e do sistema financeiro (ex: SAP).
Padronize formatos: Antes de avançar, padronize a exportação e o formato dos dados. Exemplo: garanta que todos os timestamps, moedas e IDs estejam no mesmo padrão.

Após consolidar seu data, prepare para a limpeza e uso no Process Mining.

2. Remover Duplicidades

Registros duplicados podem distorcer bastante a análise de Process Mining, inflando contagem de atividades ou registrando vários eventos idênticos. Identificar e remover duplicidades é fundamental para garantir event logs confiáveis.

Identifique duplicidades: Procure registros com case ID, atividade e timestamp iguais, pois provavelmente são duplicados.
Remova ou una: Ao identificar duplicidade, remova ou una registros similares conforme necessário.

3. Trate Dados Ausentes

Valores ausentes também são um problema recorrente que pode afetar o resultado do Process Mining. Ausência de timestamps, atividades ou case IDs interrompe a sequência dos eventos e gera modelos incompletos.

Identifique valores ausentes: Utilize ferramentas ou scripts para detectar campos em branco (ex: timestamp, nome da atividade ou case ID).
Preencha as lacunas: Se possível, preencha dados ausentes com fontes externas, conhecimento do negócio ou estimativas. Por exemplo: se o timestamp de uma atividade estiver ausente, estime com base nos eventos próximos.
Imputação: Para dados críticos como timestamp ou case ID, aplique técnicas de imputação (ex: média ou regressão) ou remova casos que não podem ser recuperados.

4. Normalize Formatos de Data

Padronizar o formato do data é essencial para que a ferramenta de Process Mining interprete corretamente o event log. Isso inclui formatação de timestamps, padronização de nomes de atividades e estrutura uniforme de case IDs.

Timestamps: Garanta que todas as datas e horários estejam no mesmo formato (ex: YYYY-MM-DD HH:MM:SS). Se houver time zones, converta para um padrão único ou utilize UTC. Veja aqui formatos de data suportados
Nomes das atividades: Atividades podem ter nomes diferentes em outros sistemas. Padronize para manter consistência (ex: “Approve Order” e “Order Approval” devem ser unificados).
Case IDs: Garanta que o case ID seja consistente e que cada instância de processo possua ID único.

5. Remova Dados Irrelevantes

Nem toda atividade ou evento no sistema é relevante para sua análise de Process Mining. Por exemplo: tarefas do sistema ou eventos administrativos podem poluir o dataset.

Filtre eventos irrelevantes: Remova atividades que não contribuem para o processo. Por exemplo, logins de sistema ou tarefas administrativas podem ser excluídos para manter o MAP limpo.
Foque nas atividades chave: Use o conhecimento do negócio para identificar os eventos essenciais à análise e concentre o dataset neles.

6. Trate Outliers e Ruído

Outliers ou “ruído” no seu dataset podem distorcer os resultados, apresentando um panorama errado do processo. Exemplo: uma tarefa que demorou muito devido a um evento raro pode distorcer a análise.

Identifique outliers: Use métodos estatísticos para flagrar registros muito acima da média.
Avalie se mantém ou remove: Veja se o outlier traz informação importante (ex: falha rara de processo) ou se deve ser removido para focar no fluxo padrão.

7. Sequenciamento Consistente de Case e Atividades

Um dos pontos mais relevantes em Process Mining é garantir que os eventos estejam com sequência correta. Data desordenado faz a ferramenta interpretar errado o fluxo do processo.

Verifique a ordem das atividades: Confirme que atividades seguem a ordem lógica pelos timestamps. Exemplo: “Order Approved” não pode ocorrer antes de “Order Created” na mesma instância.
Ordene eventos por timestamp: Ordene os dados de cada case pelo campo timestamp para manter a ordem.

8. Crie um Event Log

Com o data limpo, formatado e consistente, crie o event log, principal dataset para Process Mining. O event log deve conter:

Case ID: Identificador único de cada instância do processo.
Activity name: Nome de cada etapa do processo.
Timestamp: Data e hora da ocorrência de cada atividade, garantindo a ordem dos eventos.
Campos opcionais: Conforme a análise, adicione campos como recurso responsável, departamento ou categoria do processo.

9. Valide o Dataset

Após a limpeza e organização do data, valide o dataset para garantir que ele está correto e pronto para análise.

Verifique alguns casos: Revise manualmente algumas instâncias para garantir lógica e sequência dos eventos.
Realize análise de teste: Se possível, faça análise teste na ferramenta de Process Mining para identificar inconsistências.
Peça feedback: Consulte especialistas do negócio para validar se o dataset reflete o processo real.

Ferramentas para Limpeza e Preparação de Data

Diversas ferramentas podem automatizar a limpeza e preparação de data. Veja algumas opções comuns:

Python/Pandas: Linguagem e biblioteca poderosas para manipulação e limpeza de data. Permitem criar workflows personalizados para remover duplicidades, normalizar formatos, entre outros.
Excel/Google Sheets: Para datasets menores, oferecem funções como remoção de duplicidades, filtros e formatação de colunas.
ETL Tools (Extract, Transform, Load): Ferramentas como Talend, Informatica ou Apache Nifi automatizam extração, transformação e carga de dados de diversos sistemas para plataformas de Process Mining.
OpenRefine: Ferramenta open-source gratuita para limpeza de data, remoção de duplicidades e padronização de formatos.

Conclusão

A limpeza e preparação de data são etapas essenciais no ciclo de vida do Process Mining. Garantindo que seus datasets estejam completos, consistentes e precisos, você evita análises equivocadas e obtém insights práticos sobre o funcionamento real dos seus processos. Seguindo as etapas descritas neste documento, como eliminar duplicidades, preencher dados ausentes, padronizar formatos e criar um event log limpo, você estará pronto para extrair o máximo valor das suas iniciativas de Process Mining.