Les sorties nuisibles des LLM deviennent un enjeu de sécurité lorsqu'elles passent du stade d'erreurs isolées à celui de modes de défaillance prévisibles, que les équipes peuvent modéliser et maîtriser. Ce cours permet aux équipes de sécurité et aux ingénieurs en IA/ML de définir les contenus nuisibles, de mettre en place des mécanismes de filtrage et de contrôle, d'affiner les décisions de modération et de démontrer l'efficacité de ces dispositifs. À l'issue de la formation, les participants seront en mesure d'aborder la sécurité des contenus comme une discipline de sécurité opérationnelle, et non plus simplement comme une fonctionnalité de modération.
La formation aborde la modélisation des menaces liées aux sorties préjudiciables des LLM, les taxonomies de préjudices spécifiques à l'organisation et le filtrage en profondeur appliqué aux flux d'entrée, de récupération et de sortie. Elle traite également des classifieurs de modération, de la définition des seuils, des files d'attente pour la vérification humaine, des tests adverses, de la documentation de conformité et de l'ajustement continu des contrôles.