Bei der Sicherheitsbewertung von LLMs wird ermittelt, ob ein System für den vorgesehenen Einsatzzweck sicher ist – anstatt lediglich zu prüfen, ob es qualitativ hochwertige Ergebnisse liefert. Dieser Kurs vermittelt einen praxisorientierten Bewertungsablauf, der Risikoanalyse, Testdesign, Datensätze, Metriken, Bewertung, Adversarial Testing sowie automatisierte Ausführung umfasst. Nach Abschluss des Kurses sind Sie in der Lage, Fehlfunktionen zu interpretieren, Restrisiken einzuschätzen und Entscheidungen über den Einsatz des Systems durch dokumentierte Nachweise zu untermauern.
Der Kurs behandelt die Bestimmung des Risikoumfangs, Testkriterien, Sicherheitsdatensätze, zuverlässigkeitsorientierte Metriken, automatisierte Bewertung, Benchmarking mit HELM Safety und HarmBench, Adversarial Testing sowie reproduzierbare Evaluierungspipelines. Zudem werden Fehler-Triage, die Evaluierung von RAG-Systemen und Agenten, Regressionstests, kontinuierliche Evaluierung, Berichterstattung sowie Deployment-Gates behandelt.