Você é o analista responsável por um experimento de funcionalidade envolvendo uma nova tela de onboarding. O líder de produto precisa de uma decisão (seguir ou não com o lançamento) até sexta-feira, com base em um teste A/B realizado ao longo de 14 dias com 240.000 usuários elegíveis, divididos em uma proporção de 50/50. Você dispõe de dados de eventos em uma tabela (como experiment_events), com uma linha por usuário a cada dia, utilizando como chaves user_id, date e variant, além de métricas de resultado como activated_7d.
A IA pode agilizar seu fluxo de trabalho, mas não pode assumir a responsabilidade pela sua decisão. A responsabilidade por eventuais falhas subsequentes é sua caso o lançamento prejudique a retenção devido a uma definição incorreta de métrica, à exclusão de um segmento ou à violação de alguma premissa. Utilize a IA para gerar rascunhos de resumos, códigos e checklists, validando-os sempre com base nos dados e no desenho do experimento.
Explore as principais etapas do processo.
Um LLM é um modelo de texto que gera continuações plausíveis com base na sua entrada. No contexto de experimentos, isso significa que ele pode elaborar planos de análise, escrever código e resumir resultados, mesmo quando está errado — e faz isso com um tom de confiança. Um prompt consiste nas instruções e no contexto fornecidos ao modelo. Se o prompt for vago, você induz o modelo a preencher lacunas com suposições, em vez de evidências.
Quando o modelo escreve código de análise, trata-se de geração de código. Ainda é necessário executá-lo, inspecioná-lo e confirmar se ele está alinhado ao desenho do experimento. Quando o modelo inventa um detalhe não sustentado pelo seu conjunto de dados ou logs, ocorre uma alucinação. Em testes A/B, as alucinações manifestam-se como tamanhos de amostra fictícios, linguagem que sugere causalidade sem embasamento ou a escolha de um teste que pressupõe normalidade sem explicitar isso.
O uso de ferramentas significa que o modelo pode acionar ferramentas aprovadas, como um executor de SQL ou um kernel de notebook. Isso não valida a medição em si; o modelo apenas executa instruções. Cabe a você validar se a consulta executada corresponde à população do experimento e às regras de exclusão.
Veja como a interpretação de uma IA pode apresentar falhas pequenas, porém significativas.
A IA é mais útil onde o trabalho é estruturado e a verificação é precisa. O QA (garantia de qualidade) da instrumentação é um bom exemplo. Você pode pedir à IA que gere consultas candidatas para verificar a ausência de atribuição de variant (variante), quedas inesperadas de eventos em uma date (data) específica ou desequilíbrio na distribuição por platform (plataforma). Você realiza a verificação executando as consultas e confirmando se as contagens coincidem com sua tabela de atribuição.
As definições de métricas são outro ponto de alavancagem. A IA pode elaborar uma especificação de métrica para activated_7d (ativado em 7 dias) e listar as exclusões necessárias, mas é você quem decide a definição e confirma se ela corresponde à forma como o negócio interpretará o sucesso. Se o stakeholder (parte interessada) acredita que a ativação significa concluir a etapa 3, mas sua métrica considera qualquer sessão dentro de 7 dias, o resultado do experimento estará operacionalmente incorreto, mesmo que o valor-p seja baixo.
A IA também pode redigir uma narrativa de análise. Você ainda calcula a estimativa principal, seu intervalo de confiança e a segmentação relevante para a tomada de decisão. A IA escreve o rascunho inicial, mas você assume a responsabilidade por todas as afirmações na versão final.
Tente mapear tarefas comuns para os níveis apropriados de envolvimento da IA.