Esta lição estabelece uma estrutura de decisão para fornecer um assistente corporativo governado usando a Amazon Web Services (AWS). Escolheremos entre RAG (Retrieval-Augmented Generation ou Geração Aumentada por Recuperação), fine-tuning (ajuste fino) e diferentes opções de inferência, partindo de métricas de sucesso e dos limites de dados permitidos. Trataremos segurança, latência e custo como critérios de aceitação fundamentais, e não como considerações secundárias.
O Amazon Bedrock é um serviço totalmente gerenciado e serverless que fornece acesso via API a modelos de fundação para aplicações e agentes de IA generativa. O Bedrock abstrai a infraestrutura de disponibilização (serving); portanto, a seleção de instâncias e o ajuste de GPU não são decisões controladas pelo cliente. O Bedrock também inclui recursos gerenciados para RAG, controles de segurança e desenvolvimento de agentes que operam na camada de aplicação.
O Amazon SageMaker AI é uma plataforma gerenciada de aprendizado de máquina (machine learning) para criar, treinar, personalizar e implantar modelos com maior controle sobre a infraestrutura e o fluxo de trabalho. A inferência no SageMaker AI permite hospedar modelos abertos, proprietários ou personalizados, mediante a seleção de tipos de instância e frameworks de disponibilização. Isso transfere para nós uma responsabilidade maior quanto ao planejamento de capacidade, configuração de implantação e decisões de trade-off entre desempenho e custo.
Uma maneira prática de separar as responsabilidades é perguntar o que queremos gerenciar diretamente. O Bedrock é otimizado para o consumo de recursos de um modelo por meio de uma API gerenciada, com tarifação baseada em tokens. O SageMaker AI é otimizado para o gerenciamento da infraestrutura de implantação do modelo, incluindo contêineres, famílias de instâncias e custo por hora de instância. Essa escolha sobre o nível de controle geralmente prevalece na discussão posterior entre RAG e fine-tuning.
Podemos tornar essa escolha replicável seguindo quatro etapas. Primeiro, defina o resultado esperado e o método de avaliação que determinará se o assistente é aceitável. Segundo, defina o limite de governança de dados, incluindo o que nunca deve ser enviado a um provedor de modelos. Terceiro, defina as evidências que podem ser coletadas em produção para comprovar que o sistema opera em conformidade com as políticas. Quarto, escolha entre Bedrock, SageMaker AI ou ambos, com base no limite que precisa ser controlado.
Vamos analisar o fluxo que vai dos requisitos até a escolha de um serviço justificável.
A carga de trabalho que estamos utilizando é um assistente corporativo governado para funcionários. Ele responde a perguntas utilizando documentos internos e deve citar as fontes para respostas que apresentem fatos. Também deve aplicar controles de acesso para garantir que o usuário recupere apenas documentos que tenha permissão para visualizar.
Essa carga de trabalho gera dois riscos distintos que influenciam a escolha da plataforma. Um deles é o risco relacionado ao comportamento do modelo, incluindo saídas inseguras, prompt injection e afirmações alucinadas. O outro é o risco relacionado aos limites de dados, incluindo a divulgação acidental de conteúdo sensível durante a recuperação ou o registro de logs. Manteremos esses riscos separados, pois exigem controles e evidências diferentes.
Vamos visualizar os limites de confiança e os fluxos de dados que precisam ser governados.