Diese Lektion definiert einen Entscheidungsrahmen für die Bereitstellung eines kontrollierten Unternehmensassistenten (Enterprise Assistant) mit Amazon Web Services (AWS). Wir wählen zwischen Retrieval-Augmented Generation (RAG), Fine-Tuning und verschiedenen Inferenzoptionen, ausgehend von Erfolgsmetriken und den zulässigen Datengrenzen. Dabei behandeln wir Sicherheit, Latenz und Kosten als gleichrangige Akzeptanzkriterien und nicht als nachrangige Aspekte.
Amazon Bedrock ist ein vollständig verwalteter, serverloser Dienst, der API-Zugriff auf Foundation Models für generative KI-Anwendungen und Agenten bietet. Bedrock abstrahiert die Bereitstellungsinfrastruktur (Serving-Infrastruktur), sodass die Auswahl von Instanzen und die GPU-Optimierung keine Entscheidungen sind, die vom Kunden getroffen werden. Zudem umfasst Bedrock verwaltete Funktionen für RAG, Sicherheitskontrollen und die Agentenentwicklung auf der Anwendungsebene.
Amazon SageMaker AI ist eine verwaltete Plattform für maschinelles Lernen, die das Erstellen, Trainieren, Anpassen und Bereitstellen von Modellen mit größerer Kontrolle über Infrastruktur und Arbeitsabläufe ermöglicht. SageMaker AI Inference kann offene, proprietäre oder benutzerdefinierte Modelle hosten, wobei Instanztypen und Serving-Frameworks ausgewählt werden können. Dies verlagert mehr Verantwortung auf uns – etwa für Kapazitätsplanung, Bereitstellungskonfiguration sowie Abwägungen zwischen Leistung und Kosten.
Eine praktische Methode zur Aufteilung der Verantwortlichkeiten besteht darin, zu fragen, welche Aspekte wir selbst kontrollieren (besitzen) wollen. Bedrock ist darauf optimiert, Modellfunktionen über eine verwaltete API mit tokenbasierter Abrechnung zu nutzen. SageMaker AI ist darauf optimiert, die Kontrolle über die Bereitstellungsumgebung des Modells zu behalten, einschließlich Containern, Instanzfamilien und Kosten pro Instanzstunde. Diese Entscheidung über die Kontrolle bestimmt meist auch die spätere Diskussion darüber, ob RAG oder Fine-Tuning eingesetzt werden soll.
Wir können diese Entscheidung reproduzierbar gestalten, indem wir vier Schritten folgen. Definieren Sie zunächst das gewünschte Ergebnis sowie die Bewertungsmethode, anhand derer entschieden wird, ob der Assistent akzeptabel ist. Legen Sie als Nächstes den kontrollierten Datenbereich fest, einschließlich der Informationen, die unter keinen Umständen an einen Modellanbieter übermittelt werden dürfen. Bestimmen Sie sodann, welche Nachweise im Produktivbetrieb erhoben werden können, um zu belegen, dass das System die Vorgaben einhält. Wählen Sie schließlich zwischen Bedrock, SageMaker AI oder beiden Diensten, abhängig davon, welcher Bereich kontrolliert werden muss.
Betrachten wir nun den Ablauf von den Anforderungen bis hin zur Wahl eines fundierten Dienstes.
Bei dem hier betrachteten Workload handelt es sich um einen unternehmensinternen Assistenten für Mitarbeitende, der strengen Governance-Richtlinien unterliegt. Er beantwortet Fragen auf der Grundlage interner Dokumente und muss bei faktischen Aussagen die entsprechenden Quellen angeben. Zudem muss er eine Zugriffskontrolle gewährleisten, sodass Benutzer nur solche Dokumente abrufen können, für die sie eine entsprechende Berechtigung besitzen.
Dieser Workload birgt zwei unterschiedliche Risiken, die maßgeblich für die Wahl der Plattform sind. Das erste Risiko betrifft das Modellverhalten, einschließlich unsicherer Ausgaben, Prompt-Injection-Angriffen und halluzinierter Behauptungen. Das zweite Risiko betrifft die Datengrenzen, etwa die unbeabsichtigte Offenlegung sensibler Inhalte durch Abruf- oder Protokollierungsvorgänge. Wir behandeln diese Risiken getrennt voneinander, da sie unterschiedliche Kontrollmechanismen und Nachweisverfahren erfordern.
Veranschaulichen wir uns nun die Vertrauensgrenzen und Datenpfade, die einer Governance-Kontrolle unterliegen müssen.