Northbridge Health, eine US-amerikanische Gesundheitsorganisation mit 1.200 Mitarbeitenden, bereitet die Einführung von „CareGuide“ für ihr Patientenportal vor. CareGuide nutzt ein Large Language Model (LLM) – ein System, das auf der Grundlage einer Benutzeranfrage Text generiert. Vor dem Start steht das Team vor einer praktischen Entscheidung: Ist CareGuide für Patienten geeignet, nur weil die Chat-Funktion nützlich erscheint, wenn das System gleichzeitig Patientendaten preisgeben oder unsichere gesundheitliche Ratschläge erteilen könnte?
Bei der Sicherheitsbewertung werden Erkenntnisse darüber gesammelt, wie sich eine LLM-Anwendung in Situationen verhält, die potenziell Schaden anrichten könnten. Sie unterscheidet sich von der Qualitätsbewertung, bei der geprüft wird, ob Antworten flüssig, relevant oder hilfreich sind. Die Ergebnisse der Sicherheitsbewertung bilden die Grundlage für Entscheidungen über Einführung, Aussetzung, Überarbeitung oder Überwachung des Systems. Zudem erhält das Team eine Dokumentation darüber, was getestet wurde, wo Probleme auftraten und welche Aspekte noch unklar sind. Betrachten wir nun die Patientendaten, die potenziellen Risiken und die Entscheidung zur Einführung von CareGuide im Detail.
Drei verschiedene Aktivitäten liefern unterschiedliche Erkenntnisse. Sicherheitstests überprüfen, ob CareGuide die definierten Erwartungen hinsichtlich bekannter Risiken erfüllt. Beim Red Teaming wird gezielt nach unerwarteten Wegen gesucht, wie eine Person ein unsicheres Verhalten herbeiführen könnte – etwa durch das Umgehen einer Beschränkung. Beim Benchmarking wird ein System anhand eines einheitlichen öffentlichen oder internen Testdatensatzes bewertet, was Vergleiche zwischen verschiedenen Versionen oder Systemen ermöglicht. Keine dieser Methoden liefert für sich allein eine vollständige Antwort.
Bei einem Chatbot für Patienten kann es erforderlich sein, ein und denselben erkennbaren Fehler aus allen drei Perspektiven zu betrachten: Tests überprüfen das beabsichtigte Verhalten, Red Teaming deckt Schwachstellen auf und Benchmarking liefert einen reproduzierbaren Vergleichswert. Öffentliche Benchmark-Ergebnisse liefern zwar wichtige Anhaltspunkte, können jedoch nicht belegen, dass CareGuide im Kontext des Patientenportals tatsächlich sicher ist. Es gilt zu berücksichtigen, wie die drei Aktivitäten diese Fehler bei CareGuide jeweils einordnen.