Sie betreiben den „CareOps Copilot“ von Bluebird Health SaaS – eine Anwendung, die auf dem Prinzip der „Retrieval-Augmented Generation“ (RAG) basiert und vor der Beantwortung von Mitarbeiteranfragen autorisierte klinische Inhalte sowie Microsoft-365-Daten auswertet. Im Rahmen einer Red-Team-Übung wird eine schädliche Anweisung entdeckt, die in einem abgerufenen Dokument eingebettet ist. Der Assistent befolgt diese Anweisung und versucht, Connector-Daten zu übermitteln, die über den eigentlichen Aufgabenbereich hinausgehen. Der Vorfall überschreitet zwei Grenzen: das KI-Verhalten der Anwendung und die Unternehmensberechtigungen, durch die der Zugriff auf die Daten erst möglich wurde. Am Ende dieses Kurses werden Sie in der Lage sein, einen fundierten Plan für Red-Team-Aktivitäten und die Abdeckung von Erkennungsmaßnahmen für ein solches System zu erstellen.
MITRE ATLAS ist eine Wissensdatenbank für Angreiferverhalten gegenüber KI-gestützten Systemen. MITRE ATT&CK ist eine Wissensdatenbank für Angreiferverhalten gegenüber Unternehmenssystemen. ATLAS-Taktiken beschreiben das Ziel eines Angreifers in der jeweiligen Phase. Zu den veröffentlichten Taktiken gehören: Reconnaissance (Aufklärung), Resource Development (Ressourcenentwicklung), Initial Access (Erstzugriff), AI Model Access (Zugriff auf KI-Modelle), Execution (Ausführung), Persistence (Persistenz), Privilege Escalation (Rechteausweitung), Defense Evasion (Umgehung von Schutzmaßnahmen), Credential Access (Zugriff auf Anmeldedaten), Discovery (Erkundung), Lateral Movement (Laterale Bewegung), Collection (Datensammlung), AI Attack Adaptation (Anpassung des KI-Angriffs), Command and Control (Steuerung und Kontrolle), Exfiltration (Datenabfluss) und Impact (Auswirkung). Dieser Kurs behandelt all diese Taktiken, soweit sie erforderlich sind, um KI-Sicherheitsvorfälle vom Eindringen bis zur Auswirkung nachzuvollziehen. Wir können nun die KI-Grenze und die Unternehmensgrenze innerhalb eines Vorfalls verorten:
Eine Technik ist die dokumentierte Methode, die ein Angreifer anwendet, um ein taktisches Ziel zu erreichen. Eine Fallstudie verknüpft Techniken mit einem gemeldeten oder nachgewiesenen Szenario. Ein veröffentlichtes Mapping ist die von MITRE dokumentierte Beziehung zwischen einer Fallstudie, einer Taktik und einer Technik. Dies bietet dem Team einen gemeinsamen Bezugspunkt, anstatt eine lokal geprägte Bezeichnung als Threat Intelligence (Bedrohungsinformation) zu behandeln.
Verwenden Sie ATLAS, wenn der Angreifer eine KI-Komponente ins Visier nimmt oder missbraucht. Verwenden Sie ATT&CK, wenn derselbe Vorfall etablierte Verhaltensweisen in Unternehmensumgebungen umfasst, wie etwa den Missbrauch von Identitäten, Cloud-Discovery oder Datenbewegungen. Ein einzelner Vorfall kann beide Sichtweisen erfordern. Das Ziel ist es nicht, jede Aktion in eine einzige Matrix zu zwängen. Vielmehr geht es darum, den Angriffspfad nachvollziehbar zu halten und zu identifizieren, an welchen Stellen Telemetrie, Berechtigungen und Kontrollmechanismen diesen unterbrechen sollten. Nutzen Sie diese Regel zur Dokumentation, um zwischen einem dokumentierten Mapping und einer lokalen Hypothese zu unterscheiden: