Esta lección establece un marco de decisión para implementar un asistente empresarial gobernado con Amazon Web Services (AWS). Elegiremos entre la generación aumentada por recuperación (RAG), el ajuste fino (fine-tuning) y diferentes opciones de inferencia, partiendo de las métricas de éxito y los límites de datos permitidos. Trataremos la seguridad, la latencia y el costo como criterios de aceptación fundamentales, no como aspectos secundarios.
Amazon Bedrock es un servicio sin servidor (serverless) totalmente administrado que proporciona acceso mediante API a modelos fundacionales para aplicaciones y agentes de IA generativa. Bedrock abstrae la infraestructura de servicio, por lo que la selección de instancias y la configuración de GPU no son decisiones que controle el cliente. Bedrock también incluye funciones administradas para RAG, controles de seguridad y desarrollo de agentes que operan en la capa de aplicación.
Amazon SageMaker AI es una plataforma administrada de aprendizaje automático (machine learning) para crear, entrenar, personalizar e implementar modelos con mayor control sobre la infraestructura y el flujo de trabajo. La inferencia en SageMaker AI permite alojar modelos abiertos, propietarios o personalizados mediante la selección de tipos de instancia y marcos de trabajo (frameworks) de servicio. Esto traslada hacia nosotros una mayor responsabilidad en cuanto a la planificación de la capacidad, la configuración de la implementación y el equilibrio entre rendimiento y costo.
Una forma práctica de distinguir las responsabilidades es preguntarse qué aspecto queremos gestionar directamente. Bedrock está optimizado para consumir la capacidad de un modelo a través de una API administrada con medición basada en tokens. SageMaker AI está optimizado para gestionar el entorno de implementación del modelo, incluidos los contenedores, las familias de instancias y el costo por hora de instancia. Esta elección sobre el nivel de gestión suele determinar la posterior discusión entre RAG y ajuste fino.
Podemos hacer que esta elección sea replicable siguiendo cuatro pasos. En primer lugar, defina el resultado esperado y el método de evaluación que determinará si el asistente es aceptable. En segundo lugar, defina el perímetro de gobernanza de datos, incluyendo qué información no debe enviarse nunca a un proveedor de modelos. En tercer lugar, determine qué evidencias se pueden recopilar en producción para demostrar que el sistema cumple con las políticas establecidas. En cuarto lugar, elija entre Bedrock, SageMaker AI o ambos, en función del perímetro que deba controlarse.
Analicemos el proceso que va desde los requisitos hasta la elección justificada de un servicio.
La carga de trabajo que analizamos consiste en un asistente empresarial gobernado para empleados. Este asistente responde preguntas utilizando documentos internos y debe citar las fuentes cuando presenta afirmaciones fácticas. Asimismo, debe aplicar controles de acceso para garantizar que el usuario solo recupere documentos que está autorizado a ver.
Esta carga de trabajo conlleva dos riesgos distintos que influyen en la elección de la plataforma. Uno es el riesgo relacionado con el comportamiento del modelo, que incluye resultados inseguros, inyección de prompts y afirmaciones basadas en alucinaciones. El otro es el riesgo relacionado con los límites de los datos, que abarca la divulgación accidental de contenido confidencial durante los procesos de recuperación o registro de datos. Mantendremos estos riesgos separados, ya que requieren controles y evidencias diferentes.
Visualicemos los límites de confianza y las rutas de datos que deben estar sujetos a gobernanza.