Eres el analista encargado de un experimento sobre una nueva pantalla de incorporación (onboarding). El responsable del producto necesita una decisión de aprobación o rechazo para el viernes, basada en una prueba A/B que se ejecutó durante 14 días con 240.000 usuarios aptos, divididos al 50 %. Dispones de datos de eventos en una tabla (como experiment_events) con una fila por usuario y día, organizada mediante las claves user_id, date y variant, e incluyendo resultados como activated_7d.
La IA puede agilizar tu flujo de trabajo en este caso, pero no puede asumir la responsabilidad de tu decisión. Tú serás el responsable de cualquier fallo posterior si el despliegue perjudica la retención debido a una definición incorrecta de métricas, la exclusión de un segmento o el incumplimiento de alguna premisa. Considera la IA como una herramienta para generar borradores de resúmenes, código y listas de comprobación que tú deberás verificar contrastándolos con los datos y el diseño del experimento.
Explora las fases principales del proceso.
Un LLM (modelo de lenguaje de gran tamaño) es un modelo de texto que genera continuaciones plausibles a partir de la información que se le proporciona. En el ámbito de la experimentación, esto significa que puede redactar planes de análisis, escribir código y resumir resultados, incluso cuando se equivoca, haciéndolo con un tono que transmite seguridad. Un prompt (o instrucción) es el conjunto de indicaciones y el contexto que se le da al modelo. Si las instrucciones son vagas, se invita al modelo a llenar los vacíos con suposiciones en lugar de con evidencia.
Cuando el modelo escribe código de análisis, se trata de generación de código. Aun así, es necesario ejecutarlo, revisarlo y confirmar que se ajusta al diseño experimental. Cuando el modelo inventa un detalle que no está respaldado por el conjunto de datos o los registros, se produce una alucinación. En las pruebas A/B, las alucinaciones pueden manifestarse como tamaños de muestra inventados, un lenguaje que sugiere causalidad sin fundamento o la elección de una prueba que asume implícitamente una distribución normal.
El uso de herramientas implica que el modelo puede invocar herramientas autorizadas, como un ejecutor de SQL o el kernel de un cuaderno (notebook). Esto no valida la medición en sí, sino que simplemente ejecuta instrucciones. Corresponde al usuario validar que la consulta ejecutada coincida con la población del experimento y con las reglas de exclusión.
Descubra cómo los resultados generados por una IA pueden presentar errores pequeños pero con consecuencias significativas.
La IA resulta más útil cuando el trabajo está estructurado y la verificación es precisa. El control de calidad (QA) de la instrumentación es un buen ejemplo. Puedes pedirle a la IA que genere consultas para detectar asignaciones de variante faltantes, caídas inesperadas de eventos en una fecha concreta o desequilibrios en la distribución por plataforma. Tú realizas la verificación ejecutando dichas consultas y confirmando que los recuentos coinciden con tu tabla de asignación.
La definición de métricas es otro punto clave donde aprovechar esta tecnología. La IA puede redactar una especificación para la métrica activated_7d (activación en 7 días) y enumerar las exclusiones necesarias, pero tú decides la definición final y confirmas que se alinea con la interpretación del éxito que tiene el negocio. Si la parte interesada considera que la activación implica completar el paso 3, pero tu métrica se basa en cualquier sesión realizada en un plazo de 7 días, el resultado del experimento será operativamente erróneo, aunque el valor p sea bajo.
La IA también puede redactar la narrativa del análisis. Tú sigues calculando la estimación principal, su intervalo de confianza y la segmentación relevante para la toma de decisiones. La IA elabora el borrador inicial, pero tú asumes la responsabilidad de cada afirmación en la versión final.
Intenta asociar las tareas habituales con los niveles adecuados de participación de la IA.