Ein mittelständisches Fintech-Unternehmen betreibt einen Chatbot für den Kundensupport, der auf der Technologie „Retrieval Augmented Generation“ (RAG) basiert und Informationen aus internen Runbooks sowie früheren Support-Tickets abrufen kann. Ein Kunde sendet eine Nachricht, die wie eine gewöhnliche Anfrage zur Rechnungsstellung aussieht, jedoch eine eingebettete Anweisung enthält: Das Modell wird aufgefordert, interne Eskalationsrichtlinien offenzulegen und diese für den Nutzer zusammenzufassen. Das Modell befolgt die Anweisung, und der Chatbot gibt Inhalte aus, die niemals für die Weitergabe an Externe bestimmt waren. Genau dieses Sicherheitsproblem behandeln wir in diesem Kurs: LLM01 Prompt Injection dient hierbei als Einstiegspunkt, während LLM02 Sensitive Information Disclosure (Offenlegung sensibler Informationen) die Auswirkung darstellt.
Das konkrete Lernziel von Lektion 1 ist die Entwicklung einer zuverlässigen Routine zur Klassifizierung. Anhand eines Chatbot-Protokolls sollen wir in der Lage sein, die Ursache als LLM01 (oder eine verwandte Kategorie) zu identifizieren. Zudem sollen wir vorhersagen können, welche weiteren OWASP-Kategorien typischerweise in eine solche Vorfallkette involviert sind, um statt isolierter Einzelmaßnahmen mehrschichtige Sicherheitskontrollen (Layered Controls) konzipieren zu können. Das folgende Widget visualisiert den Pfad von der Injection bis zur Offenlegung auf Systemebene, damit wir spätere Schutzmaßnahmen in einen konkreten Ablauf einbetten können.
Die „OWASP Top 10 for LLM Applications 2026“ ist eine Rangliste der zehn häufigsten Fehlerarten bei Anwendungen, die auf LLMs (Large Language Models) basieren. Wir verwenden sie im Rahmen dieses Programms als gemeinsame Sprache für Anforderungen, Bedrohungsmodellierung, Tests und Berichterstattung. Die vollständige Liste umfasst: LLM01 Prompt Injection, LLM02 Sensitive Information Disclosure, LLM03 Excessive Agency, LLM04 Supply Chain, LLM05 Data and Model Poisoning, LLM06 Unbounded Consumption, LLM07 Misinformation, LLM08 Hidden Context Exposure, LLM09 Vector and Embedding Weaknesses sowie LLM10 Improper Output Handling.
Dieser Kurs behandelt LLM01 Prompt Injection umfassend und durchgängig, einschließlich direkter und indirekter Injection, mehrschichtiger Sicherheitsmaßnahmen (Defense-in-Depth) und deren Überprüfung. Zudem werden LLM02 Sensitive Information Disclosure, LLM03 Excessive Agency, LLM08 Hidden Context Exposure und LLM10 Improper Output Handling direkt angesprochen, da sie in realen Architekturen häufig nachgelagerte Auswirkungen haben oder bestehende Risiken verstärken. Die übrigen Punkte betrachten wir als angrenzende Abhängigkeiten; wir verweisen auf sie, wenn eine für LLM01 gewählte Sicherheitsmaßnahme an anderer Stelle neue Risiken schafft oder wenn der Anwendungsbereich (Scope) einer Überprüfung klar abgegrenzt werden muss. Nutzen Sie das folgende Widget, um die vollständige Liste einzusehen und zu erfahren, welche Themen in diesem Programm besonders intensiv behandelt werden.