Um gerente de operações de suporte solicita uma visão semanal das reclamações de clientes por categoria e motivo, segmentada por canal, referente ao primeiro trimestre de 2025. Você recebe um arquivo complaints.csv contendo 48.219 linhas, abrangendo o período de 01/01/2025 a 31/03/2025. O arquivo apresenta formatos de data variados na coluna created_at, valores vazios em motivo, IDs de ticket (ticket_id) duplicados devido a tentativas de reprocessamento do sistema e rótulos de categoria inconsistentes, como Billing, billing e BILLING.
Sua entrega não é apenas um arquivo limpo. Trata-se de uma tabela pronta para análise acompanhada de um registro de auditoria que explica exatamente o que foi alterado e por quê. Se uma decisão de limpeza estiver incorreta, o analista assume a responsabilidade pelo erro subsequente na apresentação de KPIs, no modelo ou na decisão tomada a partir dos dados. A IA pode acelerar a elaboração das transformações, mas não pode assumir a responsabilidade pelas consequências; portanto, cada regra sugerida deve ser explicitada e, em seguida, validada por você.
Veja como esse conjunto de dados pode se apresentar antes e depois da limpeza.
Um LLM (Large Language Model, ou Grande Modelo de Linguagem) é um modelo que gera texto a partir de padrões em seus dados de treinamento e da entrada fornecida por você. Em tarefas de limpeza de dados, ele gera sugestões de regras e códigos, mas não conhece o seu processo de negócios; por isso, pode criar suposições plausíveis, porém incorretas, sobre o significado de valores nulos ou duplicados.
Um prompt é a instrução enviada ao LLM. Na prática, o prompt funciona como uma especificação. Se você não especificar invariantes — como a possibilidade de alteração na contagem de linhas —, a IA aplicará padrões implícitos, e você herdará essas definições.
A janela de contexto refere-se à quantidade limitada de texto que o LLM consegue processar de uma só vez. Se você fornecer apenas uma amostra das linhas, a IA pode deixar passar casos atípicos que ocorrem fora dessa amostra, como valores de created_at que aparecem apenas no final do mês.
Uma alucinação é um conteúdo gerado que não encontra respaldo nos seus dados ou instruções. No contexto de limpeza de dados, isso geralmente se manifesta como mapeamentos de categorias inventados, suposições sobre a causa de valores ausentes ou afirmações categóricas de que é seguro descartar duplicatas. Você pode evitar isso exigindo evidências, como verificações que possam ser executadas e resultados que permitam a comparação de diferenças (diff).
Explore como esses termos se relacionam com falhas específicas no processo de limpeza de dados.
Comece pela análise de perfil (profiling), pois não é possível definir regras para algo que não foi medido. Essa análise gera contagens de valores nulos por coluna, listas de valores distintos para category, taxas de duplicidade para ticket_id e taxas de sucesso de processamento (parsability) para created_at. A IA pode resumir o relatório de análise, mas cabe a você decidir quais anomalias são erros e quais representam variações reais do negócio.
Em seguida, defina as regras antes de escrever o código. Por exemplo: “Padronizar category para o formato Title Case usando uma tabela de mapeamento explícita” é uma regra. “Remover ticket_id duplicados mantendo o registro com o created_at mais antigo” também é uma regra. O código é apenas a implementação; a regra é de sua responsabilidade.
Depois, gere as transformações. A IA pode elaborar um script em pandas, mas você deve verificar o comportamento com testes determinísticos. A verificação consiste em validar invariantes — como contagem de linhas, restrições de unicidade e restrições de domínio de valores — e interromper a execução caso essas condições sejam violadas.
Por fim, documente. Uma trilha de auditoria é um registro de alterações que documenta o que foi modificado, o que foi descartado e quais premissas foram aplicadas, tudo em um formato que permita a um analista futuro reproduzir o processo.
Veja como os artefatos do fluxo de trabalho se conectam, desde a análise de perfil até a documentação.