La charge de travail que nous examinons est un assistant d’entreprise encadré destiné aux employés. Il répond aux questions en s’appuyant sur des documents internes et doit citer ses sources pour toute affirmation factuelle. Il doit également appliquer un contrôle d’accès afin qu’un utilisateur ne puisse récupérer que les documents qu’il est autorisé à consulter.
Cette charge de travail présente deux risques distincts qui influencent le choix de la plateforme. Le premier concerne le comportement du modèle, incluant les sorties dangereuses, les injections de requêtes (prompt injection) et les affirmations issues d’hallucinations. Le second concerne les limites de traitement des données, incluant la divulgation accidentelle de contenu sensible lors de la récupération ou de la journalisation. Nous traiterons ces risques séparément, car ils nécessitent des mesures de contrôle et des éléments de preuve différents.
Visualisons les limites de confiance et les flux de données qui doivent être encadrés.
Cette leçon établit un cadre de décision pour la mise en œuvre d’un assistant d’entreprise gouverné avec Amazon Web Services (AWS). Nous choisirons entre la génération augmentée par récupération (RAG), le réglage fin (fine-tuning) et différentes options d’inférence en nous basant sur les indicateurs de réussite et les limites autorisées concernant les données. Nous traiterons la sécurité, la latence et le coût comme des critères d’acceptation fondamentaux, et non comme des éléments secondaires.
Amazon Bedrock est un service entièrement géré et sans serveur (serverless) qui offre un accès par API à des modèles de fondation pour des applications et des agents d’IA générative. Bedrock fait abstraction de l’infrastructure de service ; ainsi, le choix des instances et le réglage des GPU ne sont pas des décisions qui incombent au client. Bedrock inclut également des fonctionnalités gérées pour le RAG, les contrôles de sécurité et le développement d’agents au niveau de la couche applicative.
Amazon SageMaker AI est une plateforme d’apprentissage automatique gérée permettant de créer, d’entraîner, de personnaliser et de déployer des modèles tout en offrant un contrôle accru sur l’infrastructure et les flux de travail. L’inférence SageMaker AI permet d’héberger des modèles ouverts, propriétaires ou personnalisés grâce à la sélection de types d’instances et de frameworks de service. Cela nous confère une plus grande responsabilité en matière de planification de la capacité, de configuration du déploiement et d’arbitrage entre performances et coûts.
Une méthode pratique pour distinguer les responsabilités consiste à se demander ce que l’on souhaite maîtriser directement. Bedrock est optimisé pour l’utilisation des capacités d’un modèle via une API gérée avec une tarification basée sur les jetons (tokens). SageMaker AI est optimisé pour la maîtrise de l’environnement de déploiement du modèle, incluant les conteneurs, les familles d’instances et le coût par heure d’instance. Ce choix de maîtrise détermine généralement la suite de la discussion entre RAG et réglage fin.
Nous pouvons rendre ce choix reproductible en suivant quatre étapes. Tout d’abord, définissez le résultat attendu ainsi que la méthode d’évaluation permettant de déterminer si l’assistant est acceptable. Ensuite, délimitez le périmètre des données soumises à gouvernance, en précisant notamment les informations qui ne doivent en aucun cas être transmises au fournisseur du modèle. Puis, identifiez les éléments de preuve collectables en production attestant que le système respecte les politiques établies. Enfin, choisissez entre Bedrock, SageMaker AI ou les deux, en fonction du périmètre devant être maîtrisé.
Examinons le processus allant de la définition des besoins jusqu’au choix justifié d’un service.