Ein öffentlicher Support-Chatbot empfängt die Nachricht „Ich brauche Hilfe beim Zurücksetzen meines Passworts“, ruft den entsprechenden Hilfsartikel zum Konto ab und gibt die autorisierten Schritte zum Zurücksetzen aus. Sein sicheres Verhalten hängt von mehr ab als nur dem Antworttext. Die Anwendung umfasst zudem Systemanweisungen, abgerufene Dokumente, optionale Kontowerkzeuge, Benutzerdaten und Protokolle. Ein Jailbreak ist der Versuch, das Modell durch die Eingabe dazu zu bringen, seine Sicherheitsregeln oder vorgesehenen Verhaltensgrenzen zu verletzen. Bei diesem Chatbot geht der Versuch von der Benutzereingabe aus und zielt auf das Sicherheitsverhalten des Modells ab.
Das unmittelbare Risiko mag eine unsichere Antwort sein, doch ein größeres Risiko entsteht, wenn die Antwort eine andere Komponente beeinflusst. Wenn das Modell die Funktion lookup_order aufrufen kann, könnte eine manipulierte Ausgabe Daten außerhalb des Benutzerkontos anfordern. Erzeugt das Modell hingegen nur Text und überprüft die Anwendung jede Aktion im Code, sind die Auswirkungen desselben Fehlverhaltens geringer. Wir verfolgen daher sowohl, wo nicht vertrauenswürdige Inhalte in das System gelangen, als auch, welche Bereiche die umgebende Anwendung für die Modellausgabe zugänglich macht. Betrachten Sie die Vertrauensgrenzen in diesem Support-Chat-Ablauf:
Die Chatbot-Pipeline verdeutlicht, warum Jailbreaking Teil eines umfassenderen Eingabeproblems ist. Eine Prompt Injection liegt vor, wenn Inhalte das Verhalten des Modells auf eine Weise verändern, die vom Anwendungsentwickler nicht beabsichtigt war. Aktuelle Sprachmodelle verarbeiten Systemanweisungen, Benutzernachrichten, abgerufene Textpassagen und Tool-Ergebnisse in einem gemeinsamen Token-Kontext. Kennzeichnungen wie USER_DATA können zwar die Absicht verdeutlichen, schaffen jedoch keine verbindliche Sicherheitsgrenze.
Jailbreaking ist eine Unterform der direkten Prompt Injection, die darauf abzielt, die Sicherheitsprotokolle des Modells zu umgehen. Eine direkte Injection erfolgt über die Nachricht des Benutzers, etwa durch eine Anfrage, die im Widerspruch zur Support-Rolle steht. Eine indirekte Injection gelangt über Inhalte in das Modell, die dieses liest – beispielsweise einen abgerufenen Hilfeartikel, der einen als Anweisung formulierten Satz enthält. In beiden Fällen ist das Ziel eine Veränderung des Modellverhaltens. Die Quelle der Eingabe bestimmt, an welcher Stelle Kontrollmaßnahmen implementiert werden müssen.
OWASP führt diese Kategorie unter der Bezeichnung LLM01:2026 Prompt Injection auf. Dabei wird zwischen diesem eingabeseitigen Fehler und der Offenlegung sensibler Informationen (betrifft die Ausgabe) sowie der übermäßigen Handlungsbefugnis (betrifft die Folgen einer Ausgabe, die zu privilegierten Aktionen führt) unterschieden. Bezogen auf unseren Chatbot gilt: Eine Benutzernachricht, die die Antwort verändert, ist eine direkte Injection; ein manipulierter, abgerufener Artikel stellt eine indirekte Injection dar; ein direkter Versuch, die Sicherheitsmechanismen zu überwinden, ist zudem ein Jailbreak. Vergleichen Sie im Folgenden Quelle, Ziel und Möglichkeiten zur Eindämmung: