L'A/B testing devient risqué lorsque l'IA intervient dans la formulation des hypothèses, l'analyse et les recommandations de déploiement sans garde-fous statistiques clairs. Ce cours explique comment tirer parti de l'IA tout en garantissant la qualité des décisions, depuis la définition de l'objectif de l'expérience jusqu'à l'évaluation de la solidité des preuves pour valider la mise en production. Il s'adresse aux analystes, aux data scientists et aux équipes métier qui ont besoin de prendre des décisions concrètes et justifiables en matière d'expérimentation.
Ce cours aborde la place de l'IA dans le processus de test A/B, les hypothèses axées sur la prise de décision, la puissance statistique et la taille de l'échantillon, le choix du test en fonction des hypothèses sous-jacentes, les intervalles de confiance, les comparaisons multiples ainsi que les pièges liés à la segmentation. Il traite également de la manière de documenter une analyse assistée par l'IA et de traduire les résultats obtenus en une décision de déploiement : lancer, suspendre ou itérer.