Le haces una pregunta sencilla sobre el permiso parental al bot de Recursos Humanos de tu empresa. Este responde rápidamente, con tono seguro e incluyendo referencias. Una de las referencias es el título de una página que parece aleatorio y no coincide con ninguna política de Recursos Humanos que hayas visto antes. Si estás desarrollando o gestionando el bot, ese es el momento en el que necesitas un modelo mental claro de cómo se elaboró la respuesta y de dónde provino el texto citado.
La seguridad en RAG comienza por comprender la arquitectura, ya que esta explica tanto el valor como los riesgos. En este curso, utilizaremos dicha arquitectura para analizar qué puede fallar, qué datos están en juego y qué medidas de protección realmente influyen en los resultados. Primero, asentemos las bases sobre el flujo fundamental que sigue una aplicación RAG, desde la pregunta hasta la respuesta.
La generación aumentada por recuperación (RAG) es un método que permite a un chatbot responder utilizando información extraída de una colección de documentos en el momento en que se formula la pregunta. La aplicación recupera texto relevante y lo incorpora a la entrada del modelo para que este pueda redactar una respuesta basada en dicho texto. La idea fundamental es sencilla: el texto recuperado influye decisivamente en lo que el modelo comunica.
Un sistema RAG suele constar de varios componentes que se mencionarán a lo largo de este curso. El recuperador (retriever) es el componente encargado de buscar texto relevante. Una base de datos vectorial (vector DB) es un sistema de almacenamiento que ayuda al recuperador a localizar rápidamente textos similares. Los fragmentos (chunks) son pequeñas partes de documentos almacenadas para su posterior recuperación. El término Top-k indica que el recuperador devuelve los k mejores fragmentos encontrados para la pregunta. Las citas son referencias que la aplicación muestra para indicar qué fragmentos se utilizaron para elaborar la respuesta. Veamos cómo se conectan estos elementos.
Dos tipos comunes de fallo pueden parecer iguales para un principiante, ya que ambos generan una respuesta fluida. La alucinación ocurre cuando el modelo afirma algo que no está respaldado por el texto recuperado que se le proporcionó. Desde el punto de vista de la seguridad, existe otra preocupación: cuando el texto recuperado dirige al modelo hacia un resultado erróneo o inseguro porque dicho texto resulta engañoso respecto a la intención del usuario. La habilidad práctica consiste en aprender a plantear una pregunta sobre cualquier afirmación: ¿dónde se encuentra, dentro del texto recuperado, la evidencia que respalda esta frase?
Cuando es posible rastrear una respuesta hasta fragmentos específicos recuperados, se pueden distinguir las afirmaciones respaldadas de aquellas que carecen de fundamento. Este hábito de rastreo también permite detectar cuándo un fragmento sospechoso está condicionando la respuesta. Compare dos respuestas y observe qué elementos están fundamentados en el texto recuperado y cuáles no.