Northbridge Health, un organisme de santé américain comptant 1 200 employés, prépare le lancement de CareGuide pour son portail patient. CareGuide repose sur un grand modèle de langage (LLM), un système capable de générer du texte à partir d’une requête utilisateur. Avant le lancement, l’équipe doit prendre une décision concrète : le fait qu’un agent conversationnel semble utile suffit-il à rendre CareGuide prêt pour les patients, alors même qu’il pourrait exposer des informations confidentielles ou fournir des conseils de santé potentiellement dangereux ?
L’évaluation de la sécurité consiste à recueillir des données sur le comportement d’une application basée sur un LLM dans des situations susceptibles de causer des préjudices. Elle se distingue de l’évaluation de la qualité, qui porte sur la fluidité, la pertinence ou l’utilité des réponses. Les données relatives à la sécurité étayent les décisions concernant le lancement, la suspension, la refonte ou la supervision du système. Elles fournissent également à l’équipe un historique des tests effectués, des échecs rencontrés et des points restant à éclaircir. Examinons le parcours des informations des patients, les risques potentiels et la décision de déploiement concernant CareGuide.
Ces trois activités apportent des éléments probants différents. Les tests de sécurité vérifient si CareGuide répond aux attentes définies concernant les risques connus. Le « red teaming » (tests d’intrusion ou simulation d’attaques) recherche délibérément des moyens imprévus par lesquels un utilisateur pourrait provoquer un comportement dangereux, comme le contournement d’une restriction. L’évaluation comparative (benchmarking) mesure les performances d’un système par rapport à un ensemble de tests cohérent, qu’il soit public ou interne, permettant ainsi de comparer différentes versions ou différents systèmes. Aucune de ces méthodes ne fournit à elle seule une réponse complète.
Dans le cas d’un chatbot destiné aux patients, une même défaillance visible peut nécessiter ces trois approches. Les tests vérifient le comportement prévu, le « red teaming » sonde les vulnérabilités et l’évaluation comparative fournit un point de comparaison reproductible. Si les résultats publics d’évaluation comparative permettent d’orienter les questions, ils ne peuvent pas prouver que CareGuide est sûr dans le contexte spécifique d’un portail patient. Il convient d’examiner comment ces trois activités permettent d’appréhender les défaillances de CareGuide.