Dados para Process Mining: o que você precisa para começar

Para fazer Process Mining, você precisa de três campos: um ID do caso, que conecta os eventos; uma atividade, que indica o que aconteceu; e uma data e hora, que situa cada evento no tempo. Na maioria dos casos, esses dados já estão em uma exportação disponível. O trabalho é identificar quais registros respondem à pergunta que você quer investigar.

Resposta curta: de quais dados você precisa para Process Mining?

Comece com o Event Log mínimo viável: uma linha por evento, com um ID do caso, uma atividade e uma data e hora. Adicione atributos quando ajudarem a responder a uma pergunta específica. Não espere ter um conjunto de dados perfeito para verificar se ele mostra como o trabalho acontece na prática.

Tudo o que vem a seguir ajuda a garantir a confiabilidade desses três campos. Se esses termos são novos para você, comece entendendo o que é process mining e o que um registro pode mostrar antes de extrair qualquer dado.

Os campos obrigatórios formam a base do esquema de dados para Process Mining; os opcionais ajudam a explicar as variações mais adiante. Comece verificando se sua exportação contém os três campos obrigatórios e se cada linha representa um evento. Para ver um exemplo prático da estrutura, consulte como criar um Event Log; para saber como configurar os campos, consulte a documentação de mapeamento de dados.

De quais dados você precisa?

Imagine que você tem uma barraca de limonada e quer entender por que os clientes esperam. Não precisa de todos os detalhes de cada cliente. Precisa das etapas de cada pedido.

Para cada evento, registre:

• ID do caso: o número do pedido conecta os eventos que pertencem ao mesmo pedido.
• Atividade: o nome do que aconteceu, como “Anotar pedido”, “Preparar limonada” ou “Atender cliente”.
• Data e hora: quando aconteceu, o que permite colocar os eventos em ordem.

Figure 1 — Analise as etapas, não cada detalhe de cada caso.

Um exemplo simples já mostra a estrutura:

Com esses campos, você consegue ver a sequência de cada pedido e quanto tempo cada etapa leva. Campos extras, como tipo de pedido ou canal de vendas, ajudam a explicar por que alguns pedidos demoram mais. Inclua-os quando ajudarem a responder a uma pergunta.

A mesma lógica vale fora da barraca de limonada. Em um processo de pedidos, o ID do caso pode ser o número do pedido, as atividades podem ser mudanças de status e as datas e horas podem vir do histórico de eventos, em vez de uma exportação de relatório. Depois que os campos são mapeados, o ProcessMind lê uma exportação existente e mostra o fluxo na plataforma de Process Mining, sem alterar nada no sistema de origem.

O mistério dos registros de limonada desaparecidos

A barraca de limonada está movimentada e a fila não para de crescer. Você quer saber se os clientes esperam para fazer o pedido, para receber a limonada ou se encontram algum problema. As evidências estão espalhadas entre recibos, registros de pedidos e anotações.

Figure 2 — As evidências de um pedido raramente chegam organizadas em uma única tabela.

Isso é normal em projetos reais. Os dados existem, mas não estão prontos em um Event Log: você combina registros de tabelas ou sistemas diferentes e decide quais campos representam o caso, a atividade e a data e hora.

Comece anotando a pergunta que quer responder. Depois, encontre os registros que podem ajudar.

• Para medir o tempo de atravessamento do pedido, encontre o identificador do pedido e as datas e horas das mudanças de status relevantes.
• Para comparar canais, inclua o canal como atributo adicional.
• Para entender as reclamações, inclua as atividades ou os resultados relacionados a elas, se forem registrados de forma consistente.

Assim, a primeira extração fica focada. Você não precisa coletar todos os campos de todos os sistemas, apenas os dados necessários para reconstruir o processo e investigar a pergunta.

Se você já tem uma exportação do Excel ou CSV, analise-a antes de pedir à equipe de dados que crie uma nova extração. Assim, você vê o que os campos atuais permitem fazer e o que uma extração melhor poderia acrescentar.

A busca pelos dados

As fontes de dados para Process Mining costumam ser os sistemas que registram o trabalho conforme ele acontece: um ERP, um CRM, uma plataforma ITSM, uma ferramenta de chamados ou outro aplicativo operacional. Os registros necessários podem estar em um banco de dados, relatório ou arquivo exportado.

Pergunte ao responsável pelo processo e ao responsável pelo sistema onde os principais eventos são registrados. Depois, acompanhe alguns casos reais do início ao fim. Verifique se o identificador do caso, os nomes dos eventos e as datas e horas estão disponíveis em cada etapa.

1. Escolha um processo e uma pergunta

   Onde os pedidos ficam parados ou qual handoff consome mais tempo.

2. Encontre o sistema e a pessoa responsável

   O aplicativo que registra o trabalho e a equipe responsável por ele.

3. Procure o histórico de eventos

   Um relatório ou uma tabela com mudanças de status, em vez de um retrato do estado atual.

4. Verifique o ID do caso

   O mesmo identificador precisa aparecer em todos os eventos que você quer conectar.

5. Exporte primeiro uma amostra pequena

   Analise uma amostra antes de pedir uma extração maior.

Evite extrair todas as tabelas só porque estão disponíveis. Uma extração focada é mais fácil de revisar, limpar e explicar. Se o processo abrange vários sistemas, registre como os dados se conectam, por exemplo, qual número de pedido vincula um registro do CRM a um registro do ERP.

Para conhecer as fontes mais comuns, consulte a documentação sobre onde encontrar dados. Se você precisa combinar ou transformar dados de vários sistemas, o guia de ETL para Process Mining explica essa etapa do trabalho.

A limpeza dos dados

Uma exportação pode conter eventos duplicados, datas e horas ausentes, nomes de status inconsistentes, pedidos de teste ou registros que não pertencem ao processo que você quer estudar. Isso não torna a exportação inútil. Mas é importante entender o que cada linha representa antes de tirar conclusões dos resultados.

Revise os dados em algumas etapas:

• Duplicatas: verifique se as linhas repetidas representam eventos que realmente ocorreram mais de uma vez ou cópias acidentais.
• Datas e horas: procure valores ausentes, formatos misturados, fusos horários inesperados e eventos fora de ordem.
• Atividades e status: padronize os rótulos que têm o mesmo significado e mantenha separados os status que representam etapas diferentes.
• Registros de teste ou cancelados: decida se devem fazer parte da análise e registre o que você excluiu e por quê.
• IDs do caso: verifique se há identificadores em branco ou variáveis que possam dividir um caso em vários ou juntar casos sem relação.

Não exclua casos incomuns só porque parecem diferentes. Primeiro, determine se são exceções válidas ou erros nos dados. Registre cada alteração para que seja possível explicar o conjunto de dados preparado em relação à fonte.

A qualidade dos dados para Process Mining raramente se resume a sim ou não. O que importa é se os campos necessários para responder à sua pergunta são consistentes. Por isso, uma amostra vale mais do que uma promessa. O ProcessMind mostra a qualidade no próprio conjunto de dados: um selo com a pontuação percentual e um painel que explica o que afeta essa pontuação, incluindo valores ausentes ou inconsistentes e problemas com datas e horas. Assim, você avalia quanto pode confiar em um resultado antes de agir e acompanha a pontuação enquanto corrige os dados. Saiba mais na documentação sobre qualidade dos dados.

A revisão é iterativa: comece com uma amostra, mapeie os campos, analise o processo resultante e investigue o que parecer errado. O guia de limpeza e preparação de dados explica as etapas e verificações mais comuns.

A transformação dos dados

Depois de encontrar e revisar os registros, mapeie as colunas de origem para os campos necessários à análise do processo. O sistema de origem pode usar nomes diferentes, mas o significado precisa estar claro.

Uma atividade deve descrever um evento do processo, não um comentário vago. “Cliente satisfeito” pode ser uma opinião ou observação; “Pedido entregue” é um evento mais claro, se o sistema registra esse status. Escolha o timestamp que indica quando o evento aconteceu, não apenas quando um relatório foi exportado.

Você também não precisa atribuir cada coluna manualmente. Enquanto você mapeia um conjunto de dados, o ProcessMind sugere correspondências. As Recomendações de dados com IA indicam mapeamentos prováveis com uma pontuação de confiança e sugerem atributos, atividades ou fontes que podem tornar a análise mais precisa. Você revisa e confirma as sugestões, sem precisar procurar em listas de campos. É isso que faz a diferença entre passar uma tarde mapeando dados e levar uma semana. Veja as recomendações de dados com IA.

Um bom mapeamento ajuda as pessoas que conhecem o trabalho a entender o processo. Revise os nomes das atividades com o responsável pelo processo e confirme se o ID do caso e os timestamps estão funcionando como esperado. A documentação de mapeamento de dados explica como configurar um conjunto de dados, enquanto o guia de mapeamento de atividades aborda as definições das atividades.

De quantos dados você precisa?

Não existe uma quantidade única de casos ou um período de histórico que sirva para todos os processos. O volume ideal depende da frequência com que o processo acontece, da variação esperada e do que você quer comparar.

Para uma primeira análise, use casos suficientes para incluir o trabalho normal e as exceções que você quer entender. Inclua um período de histórico que permita observar os ciclos relevantes do processo e mudanças importantes ao longo do tempo. Se você tiver apenas um período curto ou uma amostra pequena, ainda poderá testar o esquema e o mapeamento, mas tenha cuidado ao considerar os resultados representativos.

Mais dados podem revelar caminhos menos comuns, mas também levam mais tempo para preparar e analisar. Comece com um período específico e amplie o intervalo se os resultados iniciais levantarem dúvidas. Se você estiver trabalhando com um Event Log grande, consulte as orientações sobre performance e escalabilidade do Process Mining antes de decidir quanto histórico carregar.

Opções de formato e carregamento

Para o primeiro projeto, use uma exportação que sua equipe consiga gerar e revisar. O ProcessMind aceita formatos comuns de planilhas e arquivos delimitados, como CSV e Excel. Para Event Logs maiores, você pode usar Parquet ou ORC. O carregamento leva poucos minutos: você adiciona o arquivo, revisa as colunas detectadas e visualiza o processo antes de decidir se precisa de conectores. Confira as etapas em como carregar seu conjunto de dados.

Você também pode carregar dados de forma incremental quando precisar adicionar registros recentes sem recriar o conjunto de dados inteiro. A abordagem ideal depende de como os dados de origem são gerados e da frequência com que mudam. Consulte a documentação sobre formatos de dados compatíveis e carregamento incremental de dados para saber mais.

Uma API pode ser adequada para uma configuração recorrente de carregamento de dados. Consulte a documentação da API de dados para entender as opções disponíveis. Se você está decidindo como extrair, transformar e carregar os dados, comece pelo guia de ETL.

Dados que você não deve carregar

Inclua apenas os dados necessários para responder à pergunta sobre o processo. Informações pessoais podem aparecer em campos inesperados, especialmente em observações, comentários ou descrições de texto livre. Revise a extração antes de carregar os dados e remova ou mascare os campos desnecessários para a análise.

Converse com as equipes de privacidade, segurança e governança de dados para confirmar o que sua organização permite. Avalie se você realmente precisa de nomes ou de outros identificadores diretos. Em muitas análises, basta usar uma equipe, função ou identificador pseudônimo, desde que isso seja adequado à finalidade e às políticas da organização.

Não use a análise de processos como justificativa para coletar mais dados pessoais. Limite o conjunto de dados aos campos necessários para entender o processo e siga as regras da sua organização sobre acesso, retenção e tratamento. O ProcessMind mantém os ambientes separados e controla o acesso por função. Além disso, um registro de auditoria mostra quem podia ver cada informação, permitindo responder a essa pergunta depois. Consulte usuários, funções e permissões, o registro de auditoria e nossa Política de Privacidade.

Como envolver sua equipe de dados

Um pedido claro ajuda sua equipe de dados a estimar o trabalho e evita extrações desnecessárias. Envie um resumo de uma página com estas informações:

• Processo: informe o nome do processo e seus pontos de início e fim.
• Pergunta: explique o que você quer descobrir, como identificar onde os pedidos ficam esperando.
• Escopo: especifique os sistemas, o período e os tipos de casos que devem ser incluídos.
• Campos obrigatórios: solicite o ID do caso, a atividade e o timestamp de cada evento.
• Campos úteis: liste apenas os atributos necessários para responder à pergunta.
• Exemplos: inclua alguns casos representativos e remova os valores confidenciais, se necessário.
• Verificações: peça à equipe que sinalize IDs ou timestamps ausentes, eventos duplicados e valores de status pouco claros.
• Privacidade: confirme quais campos podem ser compartilhados e se algum precisa ser removido ou mascarado.

Você também pode compartilhar o guia de Event Log para mostrar à equipe um exemplo concreto da estrutura necessária. Se a extração precisar vir de um sistema específico, indique o guia de melhoria de processos correspondente. Depois de obter uma exportação, siga o guia de primeiros passos para carregar os dados e visualizar o processo.

Próxima etapa: carregue e mapeie seus dados

Você não precisa de uma extração perfeita para descobrir se seus dados permitem fazer uma primeira análise. Comece com uma exportação existente, confira os três campos obrigatórios e identifique o que precisa de atenção antes de investir em um projeto de dados maior.

Os benefícios vão além do primeiro mapa de processo. Depois que você carrega um conjunto de dados, o ProcessMind calcula a pontuação do processo automaticamente com o Saúde do processo: uma pontuação consistente para cada processo, baseada nas cinco dimensões do framework CURES: Conformidade, Uniformidade, Retrabalho, Eficiência e Fluidez. A pontuação indica por onde começar, e os mesmos Dashboards mostram o que precisa ser corrigido. Assim, o primeiro conjunto de dados gera uma lista de ações, não apenas uma visualização. O Saúde do processo e suas pontuações estão incluídos na licença de Process Intelligence.