Você estruturará uma primeira versão segura do PhishTriage-v1 para a BrightShield Credit Union. Um playbook de SOAR (orquestração, automação e resposta de segurança) conecta dados de alerta, enriquecimento, roteamento e ações aprovadas em um fluxo de trabalho repetível. Uma etapa de LLM (modelo de linguagem de grande porte) lê um texto definido e retorna uma saída consultiva estruturada, como um resumo ou sugestões de tags. Isso pode ajudar um engenheiro a tornar a operação do playbook mais fácil, sem conceder ao modelo a autoridade para conter um incidente.
Na BrightShield, o limite de atuação útil é claro. O LLM pode enriquecer um alerta de phishing, redigir uma explicação concisa e auxiliar na notificação. Um analista permanece responsável pela decisão final e deve aprovar ações como quarentena, bloqueio ou alterações na conta.
O playbook começa com um alerta de e-mail recebido e termina com ações registradas e passíveis de revisão. Conteúdo de e-mail não confiável só pode chegar a uma etapa de enriquecimento por LLM depois que o fluxo de trabalho remove dados fora do escopo aprovado. O LLM retorna um esquema JSON fixo, que o playbook valida antes de registrar as informações no chamado. O modelo não tem acesso direto a controles de quarentena, listas de bloqueio, credenciais ou permissões subsequentes.
Esse design trata o LLM como um nó de enriquecimento e classificação, e não como um tomador de decisões. A etapa de validação pelo analista separa o texto consultivo de qualquer ação que possa impactar um membro, funcionário ou processo de negócios. Vamos acompanhar onde a confiança muda ao longo do PhishTriage-v1:
Corpos de e-mail, textos de tickets e cabeçalhos extraídos são entradas controladas por atacantes. A injeção indireta de prompt é uma instrução oculta no conteúdo lido pelo LLM, destinada a redirecionar seu comportamento ou expor dados. Um indicador alucinado é um domínio, endereço ou outro detalhe de segurança inventado, sem respaldo no registro subjacente. Ambos os riscos são relevantes, pois um resumo bem elaborado pode parecer útil para a tomada de decisões, embora seja inseguro ou não tenha comprovação.
O BrightShield limita o BeaconLLM a textos de eventos de segurança internos e exige IDs de registros de origem rastreáveis. O fluxo de trabalho deve transmitir apenas o texto mínimo necessário para o enriquecimento. Um modelo que lê conteúdo não confiável não deve ter acesso a ferramentas, segredos ou permissões de contenção. Vamos examinar as regras operacionais que estabelecem esse limite: