Vous gérez « CareOps Copilot », une application SaaS de Bluebird Health basée sur la génération augmentée par récupération (RAG) ; celle-ci consulte des contenus cliniques approuvés ainsi que des données Microsoft 365 avant de répondre aux questions du personnel. Lors d’un exercice de « red teaming », une instruction malveillante est détectée au sein d’un document récupéré par le système. L’assistant exécute cette instruction et tente de transmettre des données issues de connecteurs au-delà du cadre de la tâche prévue. L’incident chevauche deux périmètres : le comportement de l’IA de l’application et les autorisations d’entreprise ayant rendu ces données accessibles. À l’issue de ce cours, vous serez en mesure d’élaborer un plan solide de « red teaming » et de couverture de détection adapté à ce type de système.
MITRE ATLAS est une base de connaissances répertoriant les comportements des adversaires ciblant les systèmes dotés d’IA. MITRE ATT&CK est une base de connaissances similaire concernant les systèmes d’entreprise. Les tactiques ATLAS décrivent les objectifs de l’attaquant à chaque étape. Les tactiques publiées sont les suivantes : Reconnaissance, Développement de ressources, Accès initial, Accès au modèle d’IA, Exécution, Persistance, Élévation de privilèges, Évasion des défenses, Accès aux identifiants, Découverte, Mouvement latéral, Collecte, Adaptation de l’attaque IA, Commande et contrôle, Exfiltration et Impact. Ce cours les aborde toutes, selon les besoins, pour retracer les incidents liés à l’IA depuis le point d’entrée jusqu’aux conséquences finales. Il est désormais possible de situer la frontière entre le domaine de l’IA et celui de l’entreprise au sein d’un même incident :
Une technique est la méthode documentée qu’un adversaire utilise pour atteindre un objectif tactique. Une étude de cas associe des techniques à un scénario signalé ou démontré. Une correspondance publiée (mapping) représente la relation documentée par le MITRE entre une étude de cas, une tactique et une technique. Elle fournit à l’équipe un point de référence commun, évitant ainsi de considérer un libellé créé en interne comme un élément de renseignement sur les menaces (threat intelligence).
Utilisez ATLAS lorsque l’adversaire cible ou détourne un composant d’IA. Utilisez ATT&CK lorsque le même incident implique des comportements d’entreprise classiques, tels que l’abus d’identités, la découverte d’environnements cloud ou le transfert de données. Un même incident peut nécessiter l’utilisation des deux référentiels. L’objectif n’est pas de faire entrer de force chaque action dans une matrice unique, mais de préserver la trajectoire de l’attaque et d’identifier les points où la télémétrie, les autorisations et les contrôles devraient l’interrompre. Appliquez cette règle d’enregistrement pour distinguer une correspondance documentée d’une hypothèse locale :