Diseñará una primera versión segura de PhishTriage-v1 para BrightShield Credit Union. Un libro de estrategias (playbook) de orquestación, automatización y respuesta de seguridad (SOAR) conecta datos de alertas, enriquecimiento, enrutamiento y acciones aprobadas en un flujo de trabajo repetible. Un paso de modelo de lenguaje extenso (LLM) lee texto definido y devuelve una salida consultiva estructurada, como un resumen o etiquetas sugeridas. Esto puede ayudar a un ingeniero a facilitar la operación del libro de estrategias sin otorgar autoridad para contener un incidente.
En BrightShield, el límite operativo útil está claro. El LLM puede enriquecer una alerta de phishing, redactar una explicación concisa y facilitar las notificaciones. El analista sigue siendo responsable de la resolución final y debe aprobar la cuarentena, el bloqueo o los cambios en la cuenta.
El libro de estrategias comienza con una alerta de correo electrónico entrante y termina con acciones registradas y revisables. El contenido de correo electrónico no verificado solo puede llegar a un paso de enriquecimiento mediante LLM después de que el flujo de trabajo elimine los datos que quedan fuera de su alcance aprobado. El LLM devuelve un esquema JSON fijo que el libro de estrategias valida antes de registrar la información en el ticket. No tiene acceso directo a controles de cuarentena, listas de bloqueo, credenciales ni permisos posteriores en la cadena de procesos.
Este diseño trata al LLM como un nodo de enriquecimiento y clasificación, en lugar de como un agente de toma de decisiones. La etapa de validación por parte del analista separa el texto consultivo de cualquier acción que pudiera afectar a un miembro, empleado o proceso empresarial. Analicemos cómo cambia el nivel de confianza a lo largo de PhishTriage-v1:
El cuerpo de los correos electrónicos, el texto de los tickets y los encabezados extraídos constituyen entradas controladas por un atacante. La inyección de instrucciones indirecta (indirect prompt injection) consiste en una instrucción oculta en el contenido que lee el LLM, diseñada para redirigir su comportamiento o exponer datos. Un indicador alucinado es un dominio, dirección u otro detalle de seguridad inventado que carece de respaldo en el registro subyacente. Ambos riesgos son relevantes, ya que un resumen bien redactado puede parecer útil para la toma de decisiones, aun cuando sea inseguro o carezca de fundamento.
BrightShield limita a BeaconLLM al procesamiento de texto de eventos de seguridad internos y exige el uso de identificadores de registros de origen trazables. El flujo de trabajo debe transmitir únicamente el texto mínimo necesario para el enriquecimiento de la información. Un modelo que procesa contenido no confiable no debe tener acceso a herramientas, secretos ni permisos de contención. Analicemos las reglas operativas que establecen este límite: