Schädliche Ausgaben von LLMs werden dann zu einem Sicherheitsproblem, wenn sie von isolierten Fehlern zu vorhersehbaren Fehlermustern übergehen, die von Teams modelliert und kontrolliert werden können. Dieser Kurs vermittelt Sicherheitsteams und KI/ML-Ingenieuren Methoden, um schädliche Inhalte zu definieren, Filter- und Prüfmechanismen zu implementieren, Moderationsentscheidungen zu optimieren und nachzuweisen, dass diese Kontrollmaßnahmen wirksam sind. Am Ende des Kurses sind die Teilnehmenden in der Lage, Content-Sicherheit als operative Sicherheitsdisziplin zu begreifen – und nicht bloß als reine Moderationsfunktion.
Der Kurs behandelt die Bedrohungsmodellierung für schädliche LLM-Ausgaben, organisationsspezifische Taxonomien für Schadpotenziale sowie mehrschichtige Filtermechanismen (Defense-in-Depth) entlang der Eingabe-, Abruf- und Ausgabepfade. Zudem werden Moderationsklassifikatoren, die Festlegung von Schwellenwerten, Warteschlangen für die manuelle Überprüfung, Adversarial Testing, Compliance-Dokumentation sowie die kontinuierliche Optimierung der Kontrollmechanismen thematisiert.