Un système de chatbot basé sur l'IA ne se résume pas à un prompt et à l'appel d'un modèle : il nécessite un routage des requêtes, une gestion de la mémoire et de la récupération d'informations, des choix de mise à l'échelle ainsi que des mécanismes de repli capables de supporter un trafic réel. Ce cours propose une approche accessible aux débutants pour appréhender le système dans sa globalité, depuis l'architecture fonctionnelle initiale jusqu'aux arbitrages influençant la latence, les coûts et la fiabilité. À l'issue de la formation, l'apprenant sera capable d'expliquer et de justifier la conception concrète d'un chatbot face aux contraintes habituelles de mise en production.
Le cours aborde l'architecture fondamentale des chatbots, le flux de traitement des requêtes de bout en bout, la mémoire de conversation, la génération augmentée par récupération (RAG) avec recherche vectorielle, le passage à l'échelle de l'inférence et la fiabilité en cas de défaillance partielle. Il traite également des arbitrages liés aux fenêtres de contexte, au découpage (chunking), à la récupération « top-k », au traitement par lots, à la mise en cache, aux limitations de débit, aux délais d'attente (timeouts), aux tentatives de réexécution et aux mécanismes de repli.