Évaluation de la sécurité des LLM : tests et analyse comparative de l'IA

Élaborez des évaluations de la sécurité fondées sur des données probantes, transformant les risques en tests fiables, en conclusions et en décisions de déploiement.

14 leçons
Approfondir
Expliquer avec l’IA
Revoir et régénérer

Programme

4 sections · 14 leçons

Définissez l'évaluation de la sécurité, distinguez-la de l'évaluation de la qualité, et établissez des liens entre les tests, le « red teaming », l'analyse comparative (benchmarking), la priorisation des risques et les jalons de déploiement.

3 leçons

Constituez des jeux de données de test diversifiés, choisissez des métriques de sécurité et des méthodes d'évaluation fiables, utilisez les référentiels de comparaison dans le respect de leurs limites et concevez des tests adverses réalistes sans engendrer de nouveaux préjudices.

5 leçons

Réalisez une évaluation de bout en bout, automatisez l'exécution répétable du pipeline et classez les défaillances selon leur gravité, leur exploitabilité et leur cause première probable afin de sélectionner les mesures correctives ou les contrôles appropriés.

3 leçons

Évaluez la récupération d'informations et l'utilisation des outils, transformez les échecs en tests de régression, comparez les résultats dans le temps et associez les risques résiduels documentés aux recommandations de déploiement.

3 leçons

À propos de ce cours

L'évaluation de la sécurité des LLM vise à déterminer si un système est sûr pour l'usage auquel il est destiné, plutôt que de simplement évaluer la qualité des résultats produits. Ce cours présente un processus d'évaluation pratique couvrant l'analyse des risques, la conception des tests, les jeux de données, les métriques, la notation, les tests adverses et l'exécution automatisée. À l'issue de la formation, vous disposerez des compétences nécessaires pour interpréter les défaillances, évaluer le risque résiduel et étayer les décisions de déploiement par des éléments probants documentés.

Le cours aborde la délimitation des risques, les critères de test, les jeux de données de sécurité, les métriques prenant en compte la fiabilité, l'évaluation automatisée, l'analyse comparative via HELM Safety et HarmBench, les tests adverses ainsi que les pipelines d'évaluation reproductibles. Il traite également du tri des défaillances, de l'évaluation des systèmes RAG et des agents, des tests de régression, de l'évaluation continue, du reporting et des jalons de déploiement.

Questions fréquentes

À qui s’adresse Fenzo ?

Des chefs de projet et équipes opérationnelles aux fondateurs, analystes et équipes qui adoptent l’IA, Fenzo s’adresse à tous ceux qui veulent progresser dans le travail qu’ils font déjà.

Que puis-je apprendre avec Fenzo ?

Tout, de l’utilisation de l’IA pour planifier des projets et analyser des données à l’amélioration des processus, de la prise de décision, de la communication et de l’exécution. Si tu peux décrire la compétence ou la tâche, Fenzo peut créer un cours autour.

Fenzo peut-il créer un cours pour mon travail précis ?

Oui. Dis à Fenzo ce que tu fais, ce que tu cherches à accomplir et où tu bloques, et Fenzo adaptera le cours à ton rôle, à tes objectifs et au travail que tu dois réellement faire.

Dois-je bien maîtriser l’IA ?

Non. Fenzo s’adapte à ton point de départ : tu peux commencer par les bases ou passer directement à des sujets plus avancés.

Mon équipe peut-elle utiliser Fenzo ensemble ?

Oui. Fenzo for Business réunit toute ton équipe dans un seul abonnement : licences partagées, cours que tu peux attribuer et rapports sur qui a terminé quoi.

Découvrir Fenzo for Business

Comment Fenzo sait-il ce que je dois apprendre ?

Tu commences par décrire ton objectif ou par passer une courte évaluation de tes compétences. Fenzo utilise ce contexte pour repérer tes lacunes et concevoir l’expérience d’apprentissage autour d’elles.

Puis-je utiliser Fenzo sur mon téléphone ?

Oui, Fenzo fonctionne dans le navigateur de ton téléphone.

Recommandations similaires

Dans chaque leçon

Quelque chose avec quoi interagir dans chaque section.

Choisir une méthode d’attribution pour l’optimisation IA

Critère	Poids	Dernier clic	Multi-touch	MMM	Incrémentalité
Longueur du funnel	−4+	16	32	28	36
Budget	−3+	27	18	15	12
Mix de canaux	−4+	20	28	36	32
Maturité des données	−5+	40	30	25	35
Total	—	103	108	104	115

Excellent 30+Bon 15+Moyen 8+Faible <8

L’incrémentalité mène sur trois des quatre critères ; elle ne perd que sur le budget.

Expliquer avec l’IAVoir les calculs

Trouves-tu cela utile ?

Main.java

1class Main {

2 public static void main(String[] args) {

3 // + s’évalue de gauche à droite, donc 7 et 2 sont concaténés

4 System.out.println("value=" + 7 + 2);

5 // les parenthèses font passer l’addition en premier

6 System.out.println("value=" + (7 + 2));

7 System.out.println("" + (7 / 2));

8 System.out.println("" + (7.0 / 2));

9 }

10}

Sortie

Exécuter

Priorité dans la concaténation de chaînes

Fondé sur la science de l’apprentissage.

Trois conclusions issues de décennies de recherche sur l’apprentissage ont façonné la conception de chaque leçon Fenzo.

Apprentissage actif > apprentissage passif.

66 %Passif

78 %Actif

Taux de réussite moyen · Freeman et al., PNAS 2014

Ce que dit la science

Les étudiants des cours magistraux ont 1,5 fois plus de risques d’échouer.

Comment Fenzo l’applique

Chaque leçon Fenzo est interactive. Jamais de lecture ni de visionnage passifs.

L’atrophie due à l’IA est réelle.

Tu le fais toi-mêmeL’IA le fait pour toi

Rétention des compétences dans le temps · avec ou sans pratique

Ce que dit la science

Déléguer sa réflexion à l’IA affaiblit justement les compétences que tu cherches à développer.

Comment Fenzo l’applique

Avec Fenzo, c’est toi qui réfléchis : guidé, mais jamais à ta place.

Réponses ≠ compréhension.

Pratique de récupérationRelecture

Mémorisation à long terme · récupération vs relecture

Ce que dit la science

Se remémorer une information est plus efficace que la relire pour construire une compréhension durable.

Comment Fenzo l’applique

Les leçons intègrent des quiz et des rappels pour que les acquis restent.

À propos de ce cours

Questions fréquentes

À qui s’adresse Fenzo ?

Des chefs de projet et équipes opérationnelles aux fondateurs, analystes et équipes qui adoptent l’IA, Fenzo s’adresse à tous ceux qui veulent progresser dans le travail qu’ils font déjà.

Que puis-je apprendre avec Fenzo ?

Fenzo peut-il créer un cours pour mon travail précis ?

Oui. Dis à Fenzo ce que tu fais, ce que tu cherches à accomplir et où tu bloques, et Fenzo adaptera le cours à ton rôle, à tes objectifs et au travail que tu dois réellement faire.

Dois-je bien maîtriser l’IA ?

Non. Fenzo s’adapte à ton point de départ : tu peux commencer par les bases ou passer directement à des sujets plus avancés.

Mon équipe peut-elle utiliser Fenzo ensemble ?

Oui. Fenzo for Business réunit toute ton équipe dans un seul abonnement : licences partagées, cours que tu peux attribuer et rapports sur qui a terminé quoi.

Découvrir Fenzo for Business

Comment Fenzo sait-il ce que je dois apprendre ?

Puis-je utiliser Fenzo sur mon téléphone ?

Oui, Fenzo fonctionne dans le navigateur de ton téléphone.

Dans chaque leçon

Quelque chose avec quoi interagir dans chaque section.

Choisir une méthode d’attribution pour l’optimisation IA

Critère	Poids	Dernier clic	Multi-touch	MMM	Incrémentalité
Longueur du funnel	−4+	16	32	28	36
Budget	−3+	27	18	15	12
Mix de canaux	−4+	20	28	36	32
Maturité des données	−5+	40	30	25	35
Total	—	103	108	104	115

Excellent 30+Bon 15+Moyen 8+Faible <8

L’incrémentalité mène sur trois des quatre critères ; elle ne perd que sur le budget.

Expliquer avec l’IAVoir les calculs

Trouves-tu cela utile ?

Main.java

1class Main {

2 public static void main(String[] args) {

3 // + s’évalue de gauche à droite, donc 7 et 2 sont concaténés

4 System.out.println("value=" + 7 + 2);

5 // les parenthèses font passer l’addition en premier

6 System.out.println("value=" + (7 + 2));

7 System.out.println("" + (7 / 2));

8 System.out.println("" + (7.0 / 2));

9 }

10}

Sortie

Exécuter

Priorité dans la concaténation de chaînes

Fondé sur la science de l’apprentissage.

Trois conclusions issues de décennies de recherche sur l’apprentissage ont façonné la conception de chaque leçon Fenzo.

Apprentissage actif > apprentissage passif.

66 %Passif

78 %Actif

Taux de réussite moyen · Freeman et al., PNAS 2014

Ce que dit la science

Les étudiants des cours magistraux ont 1,5 fois plus de risques d’échouer.

Comment Fenzo l’applique

Chaque leçon Fenzo est interactive. Jamais de lecture ni de visionnage passifs.

L’atrophie due à l’IA est réelle.

Tu le fais toi-mêmeL’IA le fait pour toi

Rétention des compétences dans le temps · avec ou sans pratique

Ce que dit la science

Déléguer sa réflexion à l’IA affaiblit justement les compétences que tu cherches à développer.

Comment Fenzo l’applique

Avec Fenzo, c’est toi qui réfléchis : guidé, mais jamais à ta place.

Réponses ≠ compréhension.

Pratique de récupérationRelecture

Mémorisation à long terme · récupération vs relecture

Ce que dit la science

Se remémorer une information est plus efficace que la relire pour construire une compréhension durable.

Comment Fenzo l’applique

Les leçons intègrent des quiz et des rappels pour que les acquis restent.

Programme

Section 1 : Fondements de l'évaluation

Section 2 : Conception de tests et mesure

Section 3 : Analyse de l'exécution et des défaillances

Section 4 : Décisions de sécurité en continu

À propos de ce cours

Questions fréquentes

Recommandations similaires

Dans chaque leçon

Fondé sur la science de l’apprentissage.

Apprentissage actif > apprentissage passif.

L’atrophie due à l’IA est réelle.

Réponses ≠ compréhension.

Programme

Section 1 : Fondements de l'évaluation

Section 2 : Conception de tests et mesure

Section 3 : Analyse de l'exécution et des défaillances

Section 4 : Décisions de sécurité en continu

À propos de ce cours

Questions fréquentes

Recommandations similaires

Dans chaque leçon

Fondé sur la science de l’apprentissage.

Apprentissage actif > apprentissage passif.

L’atrophie due à l’IA est réelle.

Réponses ≠ compréhension.