Bei Northbridge Health muss das Team, das die API des CareClaims Triage-Modells betreibt, fundierte und nachvollziehbare Entscheidungen treffen, bevor ein Modell-Update in den operativen Schadensmanagement-Prozess gelangt. Die Aufgabe besteht darin, den gesamten Lebenszyklus des Modells gegen Risiken wie Poisoning (Datenvergiftung), Extraktion und Inferenz abzusichern und gleichzeitig Nachweise zu erbringen, die technischen Überprüfungen, Datenschutz-Audits und allgemeinen Prüfungen standhalten. Eine Angriffsfläche ist jeder Punkt, an dem ein Akteur auf das Modellsystem einwirken, es abfragen, beobachten oder beeinflussen kann. Ein Kontrollziel definiert das Schutzniveau, das die Architektur erreichen muss, sowie die Nachweise, die dieses belegen.
[Quellen][/Quellen]
Die Modell-API ist nur ein möglicher Angriffs- oder Expositions-Punkt. Trainingsdaten, Fine-Tuning-Aufträge, Einträge in der Modell-Registry, Deployment-Einstellungen, API-Antworten und Betriebsprotokolle haben allesamt Auswirkungen auf Sicherheit und Governance. Ziel ist es nicht, jedes denkbare Artefakt zu erfassen, sondern eine Rückverfolgbarkeit von einer wesentlichen Entscheidung hin zu genehmigten Daten, evaluiertem Modellverhalten, autorisiertem Deployment und beobachteter API-Nutzung zu gewährleisten.
[Quellen][/Quellen]
Eine Angriffskette gegen ein Modell kann bereits beim Dateneingang in die Plattform beginnen und sich über die Modellfreigabe bis hin zur Nutzung erstrecken. Poisoning von Trainingsdaten oder Fine-Tuning-Daten sowie das Einschleusen von Backdoors beeinflussen das Modellverhalten bereits vor dem Deployment. Modell-Extraktion, Modell-Inversion und Membership-Inference-Angriffe treten auf, wenn das API-Verhalten oder die Ausgaben mehr preisgeben, als der Dienst eigentlich offenlegen sollte. Da jede dieser Angriffsarten unterschiedliche Verantwortungsbereiche berührt, kann eine einzelne Perimeter-Kontrolle den gesamten Lebenszyklus nicht abdecken.
[Quellen][/Quellen]
Für CareClaims Triage sollte die Architektur transparent machen, an welchen Stellen die Herkunft (Provenienz) geprüft wird, wo die Evaluierung eine Freigabe verhindert, wo API-Anfragen eingeschränkt werden und wo Nutzungssignale für spätere Überprüfungen gespeichert werden. Diese Kontrollmechanismen schaffen Entscheidungspunkte, ohne dabei vorauszusetzen, dass ein einzelnes Signal bereits einen böswilligen Angriff beweist. Wir können die Angriffsfläche und die vorgesehenen Kontrollgrenzen nachvollziehen:
Der Bereich Security Engineering verantwortet die Integrität von Bereitstellungspfaden, API-Schutzmechanismen und der Erkennungsabdeckung. Machine-Learning-Engineering verantwortet reproduzierbare Entscheidungen bei Training und Evaluierung. Data Governance verantwortet die zulässige Datennutzung, Anforderungen an die Datenherkunft (Lineage) sowie Aufbewahrungsregeln. Eine gemeinsame Freigabe ist erforderlich, wenn sich eine Modelländerung auf die Ergebnisse von Schadenregulierungen oder den Umgang mit sensiblen Daten auswirkt. Die Funktionstrennung ist entscheidend, da eine Modellfreigabe technisch korrekt sein kann, es ihr aber dennoch an einer akzeptablen Herkunftsnachweisbarkeit oder Autorisierung mangelt. [Quellen][/Quellen]
Ein fundiertes Kontrollziel benennt das erwartete Ergebnis, den verantwortlichen Eigentümer, den Freigaberahmen sowie das als Nachweis aufbewahrte Artefakt. Nachweise müssen die Rekonstruktion nach einem Vorfall ermöglichen und dürfen nicht lediglich belegen, dass ein Prozess existierte. Wir können die Aufzeichnungen untersuchen, die eine Modellentscheidung mit den dafür verantwortlichen Personen verknüpfen: