Ce cours avancé de « red teaming » débute par la classification d'un incident réel impliquant un LLM selon les critères de l'OWASP. Il se concentre sur les tests d'intrusion adverses autorisés, destinés aux équipes de sécurité et aux spécialistes du « red teaming » qui ont besoin de définir un périmètre clair, d'obtenir des preuves tangibles et de prendre des décisions de mise en production pour leurs propres applications. À l'issue de la formation, les participants seront capables d'élaborer un programme de tests, de mener des attaques contrôlées à l'aide d'outils courants et de traduire leurs conclusions en un rapport de synthèse incluant des recommandations de remédiation ainsi que des préconisations pour la validation ou non de la mise en production.
La formation aborde la planification des tests alignée sur l'OWASP, les règles d'engagement et les cas de test exécutables pour une application LLM spécifique. Elle couvre également les tests d'injection de prompts à l'aide de garak, PyRIT et promptfoo, ainsi que les catégories de défaillances liées à la récupération d'informations, à la mémoire, aux agents, à la gestion des sorties et à la chaîne d'approvisionnement.