Um líder de suporte de uma fintech com 2.000 funcionários entra em contato com a equipe de segurança. O chatbot de atendimento ao cliente deles acabou de instruir um usuário sobre como burlar a verificação de identidade, e a transcrição mostra o bot citando com confiança uma política interna. A questão parece simples, mas é complexa: estamos diante de um erro comum do modelo, uma injeção de prompt, um vazamento de dados ou uma dependência comprometida? Se não conseguirmos classificar o incidente rapidamente, não saberemos escolher a medida de contenção adequada, as evidências a preservar ou a equipe a acionar.
Neste curso, utilizamos o OWASP Top 10 for LLM Applications 2026 como nosso mapa compartilhado para triagem, modelagem de ameaças, testes e monitoramento. A triagem consiste em tomar uma decisão rápida e responsável sobre o tipo de falha em curso, a provável extensão do impacto (raio de explosão) e os próximos passos, mesmo enquanto os fatos ainda estão mudando. O objetivo da Lição 1 é praticar a identificação e nomeação dos sintomas observados em produção, utilizando categorias que permaneçam consistentes entre as equipes e ao longo do tempo.
Quando uma funcionalidade baseada em LLM apresenta comportamento inadequado, as equipes frequentemente discutem sobre intenção e escolha de palavras. Em vez disso, vamos nos basear em sintomas observáveis: quais fontes de entrada alimentaram o modelo, quais saídas foram geradas e quais efeitos externos ocorreram. Essas pistas geralmente apontam para uma ou duas categorias da OWASP, mesmo antes de conhecermos a causa raiz. Agora, faremos a triagem de um incidente simulado e classificaremos a categoria principal, além de quaisquer categorias secundárias relevantes que valha a pena monitorar em paralelo:
Para classificar corretamente, precisamos de um modelo mental compartilhado sobre como uma aplicação de LLM monta uma única solicitação. Janela de contexto refere-se ao conjunto de tokens que o modelo processa para gerar uma resposta. Ela frequentemente inclui texto direto do usuário, trechos recuperados de uma base de conhecimento, saídas de ferramentas e instruções ocultas, como um system prompt. Quando conteúdo não confiável entra nessa mesma janela de contexto, ele pode direcionar o comportamento, provocar a exposição de dados ou causar ações subsequentes inseguras. A seguir, examinaremos onde o conteúdo não confiável provavelmente entrou e como isso resultou na violação da política observada:
Não tire conclusões apenas pelo rótuloUm único sintoma pode corresponder a várias categorias. Trate as classificações iniciais como hipóteses de trabalho e preserve as evidências antes de realizar otimizações.
O OWASP Top 10 for LLM Applications 2026 é uma lista classificada dos riscos mais críticos para aplicações que utilizam grandes modelos de linguagem (LLMs). Ele existe para permitir que as equipes de segurança, engenharia e governança discutam os mesmos modos de falha utilizando uma terminologia comum, e para garantir que os planos de teste cubram toda a superfície de risco, em vez de focarem apenas no incidente mais recente. Este curso está alinhado a todas as dez categorias; nós as abordaremos diretamente nas aulas e exercícios, em vez de tratá-las apenas como um apêndice de referência. Aqui está o mapeamento completo que utilizaremos ao longo do curso: