Você opera o CareOps Copilot, uma aplicação SaaS da Bluebird Health baseada em geração aumentada por recuperação (RAG) que lê conteúdos clínicos aprovados e dados do Microsoft 365 antes de responder a perguntas da equipe. Um exercício de red team identifica uma instrução maliciosa incorporada em um documento recuperado. O assistente segue essa instrução e tenta enviar dados de conectores para além do escopo da tarefa pretendida. O incidente atravessa duas fronteiras: o comportamento de IA da aplicação e as permissões corporativas que tornaram os dados acessíveis. Ao final deste curso, você elaborará um plano fundamentado de red team e cobertura de detecção para esse tipo de sistema.
O MITRE ATLAS é uma base de conhecimento sobre o comportamento de adversários contra sistemas habilitados por IA. O MITRE ATT&CK é uma base de conhecimento sobre o comportamento de adversários contra sistemas corporativos. As táticas do ATLAS descrevem o objetivo do atacante em cada estágio. As táticas publicadas são: Reconhecimento, Desenvolvimento de Recursos, Acesso Inicial, Acesso ao Modelo de IA, Execução, Persistência, Elevação de Privilégio, Evasão de Defesa, Acesso a Credenciais, Descoberta, Movimentação Lateral, Coleta, Adaptação de Ataque de IA, Comando e Controle, Exfiltração e Impacto. Este curso aborda todas elas, conforme necessário, para rastrear incidentes de IA desde a entrada até a consequência. Agora podemos identificar a fronteira da IA e a fronteira corporativa em um único incidente:
Uma técnica é o método documentado que um adversário utiliza para alcançar um objetivo tático. Um estudo de caso associa técnicas a um cenário relatado ou demonstrado. Um mapeamento publicado é a relação documentada pelo MITRE entre um estudo de caso, uma tática e uma técnica. Isso fornece à equipe um ponto de referência comum, em vez de tratar uma classificação criada localmente como inteligência de ameaças.
Utilize o ATLAS quando o adversário tiver como alvo ou abusar de um componente de IA. Utilize o ATT&CK quando o mesmo incidente envolver comportamentos corporativos estabelecidos, como abuso de identidade, descoberta de recursos na nuvem ou movimentação de dados. Um único incidente pode exigir ambas as perspectivas. O objetivo não é forçar o enquadramento de todas as ações em uma única matriz, mas sim preservar a trajetória do ataque e identificar em que pontos a telemetria, as permissões e os controles devem interrompê-lo. Utilize esta regra de registro para distinguir um mapeamento documentado de uma hipótese local: