Ein Support-Leiter eines Fintech-Unternehmens mit 2.000 Mitarbeitern kontaktiert das Sicherheitsteam. Der Kundensupport-Chatbot hat gerade einem Nutzer erklärt, wie die Identitätsprüfung umgangen werden kann; das Transkript zeigt, wie der Bot souverän eine interne Richtlinie zitiert. Die Frage ist täuschend einfach: Handelt es sich um einen normalen Modellfehler, eine Prompt-Injection, einen Datenabfluss oder eine kompromittierte Abhängigkeit? Wenn wir den Vorfall nicht schnell klassifizieren können, lassen sich weder die richtigen Eindämmungsmaßnahmen ergreifen noch die notwendigen Beweise sichern oder das passende Team hinzuziehen.
In diesem Kurs nutzen wir die „OWASP Top 10 for LLM Applications 2026“ als gemeinsamen Orientierungsrahmen für Triage, Bedrohungsmodellierung, Tests und Überwachung. Triage bedeutet, schnell und verantwortungsbewusst zu entscheiden, welche Art von Fehler vorliegt, wie groß das wahrscheinliche Ausmaß (der „Blast Radius“) ist und welche Schritte als Nächstes eingeleitet werden müssen – und das zu einem Zeitpunkt, an dem sich die Faktenlage noch ändern kann. Ziel von Lektion 1 ist es, die im Produktionsbetrieb auftretenden Symptome korrekt zu benennen und dabei Kategorien zu verwenden, die über Teams und Zeiträume hinweg konsistent bleiben.
Wenn sich eine LLM-Funktion fehlerhaft verhält, diskutieren Teams oft über Absichten und Formulierungen. Wir orientieren uns stattdessen an beobachtbaren Symptomen: Welche Eingabequellen wurden für das Modell genutzt, welche Ausgaben wurden erzeugt und welche externen Auswirkungen folgten daraus? Diese Hinweise deuten meist schon auf eine oder zwei OWASP-Kategorien hin, noch bevor die eigentliche Ursache bekannt ist. Nun führen wir eine Triage für einen simulierten Vorfall durch und bestimmen die maßgebliche Kategorie sowie weitere relevante Sekundärkategorien, deren parallele Überwachung sinnvoll ist:
Für eine korrekte Einordnung benötigen wir ein gemeinsames Verständnis davon, wie eine LLM-Anwendung eine einzelne Anfrage zusammensetzt. Als Kontextfenster (Context Window) wird die Gesamtheit der Tokens bezeichnet, die dem Modell für eine Antwort zur Verfügung stehen. Dazu gehören häufig direkte Texteingaben des Nutzers, abgerufene Wissensdatenbank-Auszüge, Tool-Ausgaben sowie verborgene Anweisungen wie etwa ein System-Prompt. Gelangen nicht vertrauenswürdige Inhalte in dieses Kontextfenster, können sie das Verhalten des Modells steuern, die Offenlegung von Daten bewirken oder unsichere nachgelagerte Aktionen auslösen. Im nächsten Schritt betrachten wir, an welcher Stelle wahrscheinlich nicht vertrauenswürdige Inhalte eingeschleust wurden und wie dies zu der beobachteten Umgehung der Sicherheitsrichtlinien führte:
Verlassen Sie sich nicht allein auf die KlassifizierungEin einzelnes Symptom kann mehreren Kategorien zugeordnet werden. Betrachten Sie erste Klassifizierungen als Arbeitshypothesen und sichern Sie Beweise, bevor Sie Optimierungen vornehmen.
Die OWASP Top 10 for LLM Applications 2026 stellen eine nach Relevanz geordnete Liste der kritischsten Risiken für Anwendungen dar, die auf Large Language Models (LLMs) basieren. Sie dienen dazu, dass Sicherheits-, Entwicklungs- und Governance-Teams über dieselben Fehlerarten unter Verwendung einheitlicher Bezeichnungen sprechen können und dass Testpläne das gesamte Risikospektrum abdecken, anstatt sich nur auf den letzten Vorfall zu konzentrieren. Dieser Kurs orientiert sich an allen zehn Kategorien; wir behandeln sie direkt in den Lektionen und Übungen, anstatt sie lediglich als Referenzanhang zu führen. Hier finden Sie die vollständige Übersicht, die wir im gesamten Kurs verwenden werden: