Sie stellen dem HR-Bot Ihres Unternehmens eine einfache Frage zur Elternzeit. Er antwortet schnell, wirkt souverän und führt Quellen an. Eine dieser Quellen ist ein willkürlich erscheinender Seitentitel, der zu keiner HR-Richtlinie passt, die Sie jemals gesehen haben. Wenn Sie den Bot entwickeln oder betreiben, ist dies der Moment, in dem Sie ein klares Verständnis davon benötigen, wie die Antwort zusammengestellt wurde und woher der zitierte Text stammt.
Sicherheit bei RAG beginnt mit dem Verständnis der Architektur, denn diese erklärt sowohl den Nutzen als auch die Risiken. In diesem Kurs nutzen wir die Architektur, um zu analysieren, was schiefgehen kann, welche Daten auf dem Spiel stehen und welche Schutzmaßnahmen die Ergebnisse tatsächlich beeinflussen. Zunächst betrachten wir den grundlegenden Ablauf, den eine RAG-Anwendung von der Frage bis zur Antwort durchläuft.
Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem ein Chatbot Antworten auf der Grundlage von Informationen generiert, die zum Zeitpunkt der Anfrage aus einer Dokumentensammlung abgerufen werden. Die Anwendung ruft relevanten Text ab und speist ihn in die Eingabe des Modells ein, sodass dieses eine Antwort formulieren kann, die den Inhalt dieses Textes widerspiegelt. Das Grundprinzip ist einfach: Der abgerufene Text hat einen maßgeblichen Einfluss darauf, was das Modell ausgibt.
Ein RAG-System besteht üblicherweise aus mehreren Komponenten, die im Verlauf dieses Kurses behandelt werden. Ein Retriever ist die Komponente, die nach relevantem Text sucht. Eine Vektordatenbank (Vector DB) ist ein Speichersystem, das den Retriever dabei unterstützt, schnell ähnliche Textpassagen zu finden. Chunks sind kleine Textabschnitte aus Dokumenten, die für den Abruf gespeichert werden. Top-k bedeutet, dass der Retriever die besten k Textabschnitte zurückgibt, die er für die jeweilige Anfrage gefunden hat. Zitate (oder Quellenangaben) sind Verweise, die von der Anwendung angezeigt werden, um kenntlich zu machen, welche Textabschnitte für die Antwort verwendet wurden. Sehen wir uns an, wie diese Komponenten zusammenwirken.
Für Anfänger können zwei häufige Fehlerarten gleich wirken, da beide eine flüssig formulierte Antwort liefern. Von einer Halluzination spricht man, wenn das Modell eine Aussage trifft, die nicht durch den bereitgestellten abgerufenen Text gestützt wird. Ein weiteres Sicherheitsrisiko besteht darin, dass abgerufener Text das Modell zu einem falschen oder unsicheren Ergebnis lenkt, weil der Text selbst in Bezug auf die Absicht des Nutzers irreführend ist. Die entscheidende praktische Fähigkeit besteht darin, bei jeder Behauptung eine bestimmte Frage zu stellen: Wo im abgerufenen Text findet sich der Beleg für diesen Satz?
Wenn Sie eine Antwort auf bestimmte abgerufene Textabschnitte zurückführen können, lassen sich gestützte Behauptungen von solchen unterscheiden, die in der Luft hängen. Durch diese Vorgehensweise erkennen Sie auch, wenn ein fragwürdiger Textabschnitt die Antwort in eine bestimmte Richtung lenkt. Vergleichen Sie zwei Antworten und prüfen Sie, welche Aussagen im abgerufenen Text verankert sind und welche nicht.