Usted opera CareOps Copilot, una aplicación SaaS de Bluebird Health basada en generación aumentada por recuperación (RAG) que lee contenido clínico aprobado y documentos de Microsoft 365 antes de responder a las preguntas del personal. Un ejercicio de red team (equipo rojo) detecta una instrucción maliciosa incrustada en un documento recuperado. El asistente sigue dicha instrucción e intenta enviar datos a través de conectores más allá de la tarea prevista. El incidente trasciende dos límites: el comportamiento de la IA de la aplicación y los permisos empresariales que hicieron accesibles los datos. Al finalizar este curso, usted habrá elaborado un plan sólido de red team y cobertura de detección para este tipo de sistemas.
MITRE ATLAS es una base de conocimientos sobre el comportamiento de adversarios frente a sistemas habilitados con IA. MITRE ATT&CK es una base de conocimientos sobre el comportamiento de adversarios frente a sistemas empresariales. Las tácticas de ATLAS describen el objetivo del atacante en cada etapa. Sus tácticas publicadas son: Reconocimiento, Desarrollo de recursos, Acceso inicial, Acceso al modelo de IA, Ejecución, Persistencia, Escalada de privilegios, Evasión de defensas, Acceso a credenciales, Descubrimiento, Movimiento lateral, Recopilación, Adaptación de ataques a IA, Comando y control, Exfiltración e Impacto. Este curso aborda todas ellas según sea necesario para rastrear incidentes de IA desde el acceso inicial hasta sus consecuencias. Ahora podemos identificar el límite de la IA y el límite empresarial dentro de un mismo incidente:
Una técnica es el método documentado que utiliza un adversario para alcanzar un objetivo táctico. Un estudio de caso vincula técnicas con un escenario reportado o demostrado. Una asignación publicada es la relación documentada por MITRE entre un estudio de caso, una táctica y una técnica. Esto proporciona al equipo un punto de referencia común, en lugar de tratar una etiqueta acuñada localmente como inteligencia de amenazas.
Utilice ATLAS cuando el adversario ataque o abuse de un componente de IA. Utilice ATT&CK cuando el mismo incidente incluya comportamientos empresariales establecidos, como el abuso de identidades, el descubrimiento de recursos en la nube o el movimiento de datos. Un mismo incidente puede requerir ambas perspectivas. El objetivo no es forzar la inclusión de cada acción en una única matriz. El objetivo es preservar la ruta de ataque e identificar dónde la telemetría, los permisos y los controles deberían interrumpirla. Aplique esta regla de registro para distinguir una asignación documentada de una hipótesis local: