ETL: Melhores práticas no Process Mining

ETL para Process Mining

Process Mining depende de dados oriundos de vários sistemas, tornando o ETL um componente chave. ETL, abreviação de Extract, Transform, Load, é um processo de data warehousing que extrai dados dos sistemas de origem, transforma conforme necessário e carrega em um data warehouse ou ferramenta de process mining. Este processo é essencial para coletar, limpar, organizar e preparar dados para análise.

Aqui está um guia para realizar ETL para Process Mining de forma eficaz.

Abordagem Global

A regra mais importante: não se apresse em extrair dados. A extração de dados é custosa e demorada.

Comece definindo os objetivos do projeto e identificando os processos que deseja analisar. Escolha um processo para começar e crie um esboço rápido usando um modelo BPMN. Adicione dados ao modelo para alinhar com seus objetivos. Comece com dados facilmente disponíveis, como arquivos Excel, dados exportáveis ou que já são usados em outras análises. Em seguida, identifique lacunas de dados e extraia apenas o necessário para atingir seus objetivos. Resista à tentação de reunir todos os dados ‘apenas por precaução’—dados em excesso vão retardar seu progresso. A velocidade do seu ciclo de melhoria contínua depende mais da coleta de dados do que da implementação.

Comece com uploads simples de arquivos. Automatize o carregamento de dados apenas quando fizer sentido, como quando dados são frequentemente atualizados e a análise contínua é necessária. Em muitos casos, a análise estática é preferida pela estabilidade. Seja qual for a abordagem escolhida, não deixe que isso te atrase. É melhor carregar dados trimestralmente em poucos minutos do que gastar semanas automatizando, apenas para descobrir que os dados estão incorretos ou insuficientes para seu caso de negócio.

Quais Dados são Necessários?

Process Mining requer dados específicos: um ID de caso, um timestamp e uma atividade. Dados adicionais, como custo, usuário, equipe ou pegada de CO2, podem melhorar sua análise. Você também pode incluir dimensões extras para gráficos ou medidas adicionais para métricas.

Obter alguns dados de process mining é geralmente direto, pois os campos necessários são comuns. Contudo, criar um dataset único com todos os dados necessários pode ser desafiador, frequentemente exigindo transformações significativas para combinar e unificar peças separadas em um arquivo.

Não se preocupe em ter tudo de uma vez—comece com o que você tem.

Qual Formato de Dados é Necessário?

Embora formatos de dados avançados existam, a maioria das ferramentas ainda depende de arquivos de texto simples. Use arquivos separados por vírgula (CSV) ou separados por tabulação (TSV/TXT). Evite arquivos de texto de largura fixa, pois a maioria das ferramentas não pode processá-los.

Os arquivos devem começar com uma linha de cabeçalho, seguida por linhas de dados que correspondam aos campos e a ordem do cabeçalho.

Se precisar de caracteres não-ingleses, use codificação UTF-8. Certifique-se de que os campos não contenham separadores ou caracteres de fim de linha. Você pode usar aspas ao redor dos campos, mas evite aspas dentro dos campos. Se necessário, substitua aspas por outro caractere para simplificar o processamento.

Dados Facilmente Disponíveis

Comece listando os dados de fácil acesso. Considere estas fontes:

• Relatórios mensais ou semanais em Excel com dados brutos. Use o Excel para reformatar se necessário.
• Dados de process mining de outras ferramentas, frequentemente sem necessidade de pré-processamento adicional.
• Opções padrão de exportação de sistemas como RH, financeiro ou sistemas ITSM. Exporte para um formato que sua ferramenta de process mining suporte.
• Exportações de ferramentas analíticas com relatórios sobre os dados necessários. Use tabelas dinâmicas e exportações para criar o formato correto.
• Data warehouses com dados limpos e combinados. Use ferramentas de warehouse para selecionar e exportar dados como CSV.

Sistemas de Processo

Os dados geralmente são armazenados em sistemas como SAP, Workday, Salesforce ou ServiceNow. Primeiro, verifique se uma exportação simples atende às suas necessidades, pois esta é a forma mais rápida de criar valor. Caso contrário, use ferramentas ETL para extrair, transformar e carregar dados na sua ferramenta de process mining.

Dependendo da sua organização, pode ser necessário envolver TI, proprietários de sistemas ou equipes de data warehousing. Embora isso possa atrasar a coleta de dados, não ignore essas equipes—eles têm procedimentos e experiência que podem acelerar o processo. Trabalhe em um loop ágil com eles, começando com dados facilmente disponíveis e evitando solicitações de tudo de uma vez, o que pode causar atrasos.

Inicialmente, solicite dados em formato de texto. Posteriormente, automatize usando a API de sua ferramenta de process mining ou ferramentas ETL embutidas.

Ferramentas ETL Embutidas em Ferramentas de Process Mining

Geralmente aconselhamos contra o uso de ferramentas ETL embutidas de fornecedores de process mining. Embora pareçam convenientes, elas têm limitações significativas:

• Qualidade inferior comparada às ferramentas ETL dedicadas.
• Uso de tecnologia proprietária em vez de padrões do setor como SQL, aumentando a necessidade de treinamento e reduzindo a disponibilidade de especialização.
• Dependência do fornecedor, dificultando a troca de ferramentas.
• Criação de silos de dados, limitando a reutilização de dados em outros projetos de analytics ou IA.

Ferramentas ETL de Terceiros

Muitas ferramentas ETL de terceiros podem atender às necessidades de process mining. Embora process mining exija dados específicos, as operações são padrão.

Prefira ferramentas baseadas em SQL para facilitar o reuso da lógica ETL e melhor manutenção a longo prazo. Use ferramentas internas para evitar atrasos ou bloqueios de projeto causados pela adoção de novas ferramentas.

Ferramentas ETL de terceiros comuns para process mining:

• CData: Excelente para extração, frequentemente usada com outras ferramentas.
• dbt: Uma ferramenta de transformação baseada em SQL com recursos para lidar com grandes transformações.
• BigQuery: Um data warehouse gerenciado pelo Google, ideal para consultas rápidas em grandes conjuntos de dados.
• Snowflake: Uma plataforma em nuvem para armazenamento e computação escaláveis, usada para transformação e análise.
• DataBricks: Uma plataforma de analytics unificada combinando engenharia de dados, aprendizado de máquina e analytics.
• Talend: Uma ferramenta ETL gráfica que suporta várias fontes de dados.
• Apache Nifi: Uma ferramenta ETL open-source para automação de fluxo de dados e processamento em tempo real.

Ferramentas de ETL Especializadas para Process Mining

Ferramentas de ETL especializadas para Process Mining combinam as vantagens de ETL de terceiros com recursos e templates de process mining.

Exemplos:

• Konekti: Projetada para criar modelos de dados de processo de forma precisa e rápida.

Lições Importantes

ETL não é o objetivo dos projetos de Process Mining, mas muitas vezes uma etapa necessária. Configure seu processo ETL para evitar atrasos:

• Use dados facilmente disponíveis.
• Comece com carregamentos manuais; automatize quando apropriado.
• Use ferramentas existentes, preferindo SQL.

Mais importante, comece pequeno com os dados necessários e expanda gradualmente. Evite reunir todos os dados de uma vez, pois isso pode prejudicar seu projeto.