Vous êtes l’analyste chargé d’une expérimentation portant sur un nouvel écran d’intégration (onboarding). Le responsable produit attend une décision (feu vert ou rouge) pour vendredi, fondée sur un test A/B ayant duré 14 jours auprès de 240 000 utilisateurs éligibles, répartis équitablement (50/50). Vous disposez de données d’événements dans une table telle que experiment_events, avec une ligne par utilisateur et par jour, indexée par user_id, date, variant et des indicateurs de résultat comme activated_7d.
L’IA peut accélérer votre flux de travail, mais elle ne peut se substituer à votre prise de décision. Vous assumez la responsabilité d’un échec ultérieur si le déploiement nuit à la rétention en raison d’une mauvaise définition de métrique, de l’exclusion d’un segment ou de la violation d’une hypothèse. Considérez l’IA comme un outil générant des ébauches de synthèse, du code et des listes de vérification, que vous devrez valider en les confrontant aux données et à la conception de votre expérimentation.
Découvrez les principales étapes de ce processus.
Un LLM (modèle de langage étendu) est un modèle textuel capable de générer des suites plausibles à partir de vos données d’entrée. Dans le cadre d’expérimentations, cela signifie qu’il peut élaborer des plans d’analyse, rédiger du code et résumer des résultats, même lorsqu’il se trompe tout en affichant une assurance trompeuse. Un prompt (ou invite) correspond aux instructions et au contexte que vous fournissez au modèle. Si votre prompt est vague, vous incitez le modèle à combler les lacunes par des suppositions plutôt que par des preuves factuelles.
Lorsque le modèle rédige du code d’analyse, on parle de génération de code. Il vous incombe toutefois de l’exécuter, de l’examiner et de vérifier sa conformité avec votre protocole expérimental. Lorsque le modèle invente un détail non étayé par votre jeu de données ou vos journaux d’activité, il s’agit d’une hallucination. Dans les tests A/B, ces hallucinations peuvent se manifester par des tailles d’échantillon fictives, une interprétation causale injustifiée ou le choix d’un test reposant implicitement sur une hypothèse de normalité.
L’utilisation d’outils signifie que le modèle peut faire appel à des outils approuvés, tels qu’un moteur d’exécution SQL ou un noyau de notebook. Cela ne valide pas pour autant la mesure effectuée ; le modèle se contente d’exécuter des instructions. C’est à vous de vérifier que la requête exécutée correspond bien à la population de l’expérience et aux règles d’exclusion définies.
Découvrez comment l’analyse produite par une IA peut s’avérer erronée, de manière subtile mais lourde de conséquences.
L’IA est particulièrement utile lorsque le travail est structuré et que la vérification est précise. Le contrôle qualité de l’instrumentation en est un bon exemple. Vous pouvez demander à l’IA de générer des requêtes pour détecter une absence d’affectation de variante, une chute inattendue du nombre d’événements à une date donnée ou un déséquilibre dans la répartition par plateforme. Vous validez ensuite ces points en exécutant les requêtes et en vérifiant que les décomptes correspondent à votre table d’affectation.
La définition des métriques constitue un autre levier important. L’IA peut rédiger une spécification pour la métrique activated_7d (activation à 7 jours) et lister les exclusions nécessaires, mais c’est vous qui arrêtez la définition et confirmez qu’elle reflète la manière dont l’entreprise interprétera le succès. Si la partie prenante considère que l’activation correspond à la réalisation de l’étape 3, alors que votre métrique repose sur n’importe quelle session dans un délai de 7 jours, le résultat de l’expérience sera opérationnellement erroné, même si la p-valeur est faible.
L’IA peut également rédiger le récit de l’analyse. Vous continuez à calculer l’estimation principale, son intervalle de confiance et la segmentation pertinente pour la prise de décision. L’IA produit le premier jet, mais vous assumez la responsabilité de chaque affirmation figurant dans la version finale.
Essayez d’associer les tâches courantes aux niveaux d’implication de l’IA les plus appropriés.