En apparence, les applications de chat basées sur l'IA semblent simples ; toutefois, des facteurs tels que la latence, l'augmentation du contexte, les limitations de débit et les tentatives de réessai transforment rapidement leur conception en un véritable défi d'architecture système. Ce cours présente, de manière accessible aux débutants, les décisions fondamentales qui sous-tendent un service de chat IA, en mettant l'accent sur l'impact de ces choix en termes de réactivité, de coût et de fiabilité. À l'issue de la formation, vous serez capable d'expliquer l'architecture d'un système de chat, d'identifier les sources de latence et de redondance, et de justifier des choix de conception concrets face à une charge importante.
Le cours aborde un service de chat de base, la latence de bout en bout lors d'un échange en flux continu (streaming), le stockage des conversations et la reconstitution du contexte, la limitation du débit, les contrats d'API, l'idempotence ainsi que les tests de résistance en conditions de défaillance. Il met l'accent sur les choix architecturaux qui déterminent le comportement des systèmes de chat par IA à faible latence.