Les chatbots basés sur l'IA peuvent répondre à des questions, solliciter des outils et divulguer des informations sensibles en cas de sécurité insuffisante. Ce cours explique le fonctionnement d'un chatbot, définit ses limites de confiance et montre comment des attaques courantes peuvent transformer une conversation ordinaire en vol de données, en génération de contenus nuisibles, en détournement d'outils ou en explosion des coûts. Il s'adresse aux débutants souhaitant acquérir une compréhension des risques liés aux chatbots suffisante pour évaluer les mesures de défense, examiner les conceptions et identifier les failles avant la mise en production.
Le cours explique comment un chatbot basé sur un LLM utilise une instruction système (system prompt), l'historique de la conversation, les entrées de l'utilisateur et des outils au sein d'une boucle de traitement des requêtes, tout en abordant le modèle de sécurité fondamental reposant sur la confidentialité, l'intégrité et la disponibilité. Il traite ensuite de l'injection d'instructions (prompt injection), du contournement des restrictions (jailbreaking), de la fuite d'instructions (prompt leakage), des risques liés à la confidentialité, du détournement d'outils, du déni de service, des mécanismes de garde-fou (guardrails), de la protection des données, de l'autorisation, de la limitation du débit, de la surveillance et du « red teaming ».