Você faz uma pergunta simples ao chatbot de RH da sua empresa sobre licença parental. Ele responde rapidamente, transmite confiança e inclui citações. Uma das citações é um título de página de aparência aleatória que não corresponde a nenhuma política de RH que você já tenha visto. Se você está desenvolvendo ou operando o bot, esse é o momento em que precisa de um modelo mental claro de como a resposta foi montada e de onde veio o texto citado.
A segurança em RAG começa pela compreensão da arquitetura, pois ela explica tanto o valor quanto os riscos. Neste curso, usaremos essa arquitetura para analisar o que pode dar errado, quais dados estão em jogo e quais medidas de proteção realmente alteram os resultados. Primeiramente, vamos nos familiarizar com o fluxo básico que uma aplicação RAG segue, desde a pergunta até a resposta.
A Geração Aumentada por Recuperação (RAG) é uma forma de fazer com que um chatbot responda utilizando informações extraídas de uma coleção de documentos no momento da pergunta. O aplicativo recupera textos relevantes e os insere na entrada do modelo, permitindo que este elabore uma resposta que reflita o conteúdo desses textos. A ideia central é simples: o texto recuperado exerce uma forte influência sobre o que o modelo responde.
Um sistema RAG geralmente é composto por alguns elementos que você conhecerá ao longo deste curso. O retriever (mecanismo de recuperação) é o componente responsável por buscar textos relevantes. Um banco de dados vetorial (vector DB) é um sistema de armazenamento que auxilia o retriever a localizar rapidamente textos semelhantes. Chunks (fragmentos) são pequenas partes de documentos armazenadas para fins de recuperação. O termo Top-k indica que o retriever retorna os k melhores fragmentos encontrados para a pergunta. Citações são referências exibidas pelo aplicativo para indicar quais fragmentos foram utilizados na resposta. Veja como essas partes se conectam.
Dois tipos comuns de falha podem parecer iguais para um iniciante, pois ambos geram uma resposta fluida. A alucinação ocorre quando o modelo afirma algo que não é sustentado pelo texto recuperado que lhe foi fornecido. Em termos de segurança, outra preocupação surge quando o texto recuperado direciona o modelo para um resultado incorreto ou inseguro, pois o próprio texto é enganoso em relação à intenção do usuário. A habilidade prática consiste em aprender a fazer uma pergunta sobre qualquer afirmação: onde, no texto recuperado, está a evidência para esta frase?
Quando você consegue rastrear uma resposta até trechos específicos recuperados, é possível distinguir afirmações fundamentadas daquelas que estão soltas (sem base). Esse hábito de rastreamento também permite perceber quando um trecho suspeito está influenciando o resultado. Compare duas respostas e identifique o que está — e o que não está — embasado no texto recuperado.