KI-Chatbots können Fragen beantworten, Tools aufrufen und – bei unzureichender Sicherheit – mehr preisgeben, als sie sollten. Dieser Kurs erläutert die Funktionsweise von Chatbots und ihre Vertrauensgrenzen. Zudem wird gezeigt, wie gängige Angriffe eine normale Konversation in Datendiebstahl, schädliche Ausgaben, den Missbrauch von Tools oder explodierende Kosten verwandeln können. Der Kurs richtet sich an Einsteiger, die die Risiken von Chatbots so weit verstehen möchten, dass sie Sicherheitsmaßnahmen beurteilen, Designs überprüfen und Schwachstellen erkennen können, bevor das System in Betrieb geht.
Der Kurs behandelt die Verwendung von System-Prompts, Chat-Verlauf, Benutzereingaben und Tools durch einen LLM-Chatbot innerhalb einer Anfrage-Schleife sowie das grundlegende Sicherheitsmodell aus Vertraulichkeit, Integrität und Verfügbarkeit. Zudem werden Themen wie Prompt Injection, Jailbreaking, Prompt Leakage, Datenschutzrisiken, Tool-Missbrauch, Denial-of-Service, Guardrails, Datenschutz, Autorisierung, Ratenbegrenzungen, Monitoring und Red Teaming behandelt.