ETL para Process Mining: Guia Completo

ETL para Process Mining

Process Mining depende de dados oriundos de vários sistemas, tornando o ETL um componente chave. ETL, abreviação de Extract, Transform, Load, é um processo de data warehousing que extrai dados dos sistemas de origem, transforma conforme necessário e carrega em um data warehouse ou ferramenta de process mining. Este processo é essencial para coletar, limpar, organizar e preparar dados para análise.

Aqui está um guia para realizar ETL para Process Mining de forma eficaz.

Abordagem Global

A regra mais importante: não se apresse em extrair dados. A extração de dados é custosa e demorada.

Comece definindo os objetivos do projeto e identificando os processos que deseja analisar. Escolha um processo para começar e crie um esboço rápido usando um modelo BPMN. Adicione dados ao modelo para alinhar com seus objetivos. Comece com dados facilmente disponíveis, como arquivos Excel, dados exportáveis ou que já são usados em outras análises. Em seguida, identifique lacunas de dados e extraia apenas o necessário para atingir seus objetivos. Resista à tentação de reunir todos os dados ‘apenas por precaução’—dados em excesso vão retardar seu progresso. A velocidade do seu ciclo de melhoria contínua depende mais da coleta de dados do que da implementação.

Comece com uploads simples de arquivos. Automatize o carregamento de dados apenas quando fizer sentido, como quando dados são frequentemente atualizados e a análise contínua é necessária. Em muitos casos, a análise estática é preferida pela estabilidade. Seja qual for a abordagem escolhida, não deixe que isso te atrase. É melhor carregar dados trimestralmente em poucos minutos do que gastar semanas automatizando, apenas para descobrir que os dados estão incorretos ou insuficientes para seu caso de negócio.

Quais Dados são Necessários?

Process Mining requer dados específicos: um ID de caso, um timestamp e uma atividade. Dados adicionais, como custo, usuário, equipe ou pegada de CO2, podem melhorar sua análise. Você também pode incluir dimensões extras para gráficos ou medidas adicionais para métricas.

Obter alguns dados de process mining é geralmente direto, pois os campos necessários são comuns. Contudo, criar um dataset único com todos os dados necessários pode ser desafiador, frequentemente exigindo transformações significativas para combinar e unificar peças separadas em um arquivo.

Não se preocupe em ter tudo de uma vez—comece com o que você tem.

Qual Formato de Dados é Necessário?

Embora formatos de dados avançados existam, a maioria das ferramentas ainda depende de arquivos de texto simples. Use arquivos separados por vírgula (CSV) ou separados por tabulação (TSV/TXT). Evite arquivos de texto de largura fixa, pois a maioria das ferramentas não pode processá-los.

Os arquivos devem começar com uma linha de cabeçalho, seguida por linhas de dados que correspondam aos campos e a ordem do cabeçalho.

Se precisar de caracteres não-ingleses, use codificação UTF-8. Certifique-se de que os campos não contenham separadores ou caracteres de fim de linha. Você pode usar aspas ao redor dos campos, mas evite aspas dentro dos campos. Se necessário, substitua aspas por outro caractere para simplificar o processamento.

Dados Facilmente Disponíveis

Comece listando os dados de fácil acesso. Considere estas fontes:

• Relatórios mensais ou semanais em Excel com dados brutos. Use o Excel para reformatar se necessário.
• Dados de process mining de outras ferramentas, frequentemente sem necessidade de pré-processamento adicional.
• Opções padrão de exportação de sistemas como RH, financeiro ou sistemas ITSM. Exporte para um formato que sua ferramenta de process mining suporte.
• Exportações de ferramentas analíticas com relatórios sobre os dados necessários. Use tabelas dinâmicas e exportações para criar o formato correto.
• Data warehouses com dados limpos e combinados. Use ferramentas de warehouse para selecionar e exportar dados como CSV.

Sistemas de Processo

Os dados geralmente são armazenados em sistemas como SAP, Workday, Salesforce ou ServiceNow. Primeiro, verifique se uma exportação simples atende às suas necessidades, pois esta é a forma mais rápida de criar valor. Caso contrário, use ferramentas ETL para extrair, transformar e carregar dados na sua ferramenta de process mining.

Dependendo da sua organização, pode ser necessário envolver TI, proprietários de sistemas ou equipes de data warehousing. Embora isso possa atrasar a coleta de dados, não ignore essas equipes—eles têm procedimentos e experiência que podem acelerar o processo. Trabalhe em um loop ágil com eles, começando com dados facilmente disponíveis e evitando solicitações de tudo de uma vez, o que pode causar atrasos.

Inicialmente, solicite dados em formato de texto. Posteriormente, automatize usando a API de sua ferramenta de process mining ou ferramentas ETL embutidas.

Ferramentas ETL Embutidas em Ferramentas de Process Mining

Geralmente aconselhamos contra o uso de ferramentas ETL embutidas de fornecedores de process mining. Embora pareçam convenientes, elas têm limitações significativas:

• Qualidade inferior comparada às ferramentas ETL dedicadas.
• Uso de tecnologia proprietária em vez de padrões do setor como SQL, aumentando a necessidade de treinamento e reduzindo a disponibilidade de especialização.
• Dependência do fornecedor, dificultando a troca de ferramentas.
• Criação de silos de dados, limitando a reutilização de dados em outros projetos de analytics ou IA.

Ferramentas ETL de Terceiros

Várias ferramentas ETL de terceiros atendem às demandas de Process Mining. Apesar de Process Mining exigir dados específicos, as operações são padrão.

Prefira ferramentas SQL para facilitar a reutilização de lógica ETL e manutenção a longo prazo. Use ferramentas internas para evitar atrasos ou bloqueios na adoção de novas soluções.

Principais ferramentas ETL de terceiros para Process Mining:

• CData: Ótima para extração, usada junto com outras tools.
• dbt: Ferramenta de transformação SQL com recursos para grandes volumes.
• BigQuery: Data warehouse da Google para consultas SQL rápidas em grandes bases.
• Snowflake: Plataforma cloud para armazenamento escalável e análise de dados.
• DataBricks: Plataforma unificada que integra engenharia de dados, machine learning e analytics.
• Talend: Ferramenta ETL gráfica que suporta várias fontes de dados.
• Apache Nifi: ETL open-source para automação de fluxo de dados e processamento em tempo real.

Ferramentas ETL Especializadas para Process Mining

Ferramentas ETL especializadas para Process Mining unem os benefícios das ETL de terceiros com recursos e templates focados em Process Mining.

Exemplos:

• Evidant: Data Transform Refinery. Foco em extração e transformação de dados para Process Mining em grandes volumes.
• Konekti: Feita para criar modelos de dados de processos com rapidez e precisão.

Lições Importantes

ETL não é o objetivo dos projetos de Process Mining, mas muitas vezes uma etapa necessária. Configure seu processo ETL para evitar atrasos:

• Use dados facilmente disponíveis.
• Comece com carregamentos manuais; automatize quando apropriado.
• Use ferramentas existentes, preferindo SQL.

Mais importante, comece pequeno com os dados necessários e expanda gradualmente. Evite reunir todos os dados de uma vez, pois isso pode prejudicar seu projeto.