Les incidents liés aux passerelles d'IA découlent généralement d'une hypothèse erronée quant aux limites de la confiance. Ce cours explique comment un proxy Node auto-hébergé peut s'intercaler entre l'application et plusieurs fournisseurs de modèles, tout en assurant la gestion de l'identité de l'appelant, des périmètres d'accès, du routage, des quotas et des contrôles de sécurité, tout en conservant une trace claire de ce qu'il est capable — ou non — de bloquer. Il s'adresse aux ingénieurs plateforme ayant besoin d'une passerelle centralisée pour le trafic interne et celui destiné aux clients, dotée de mécanismes de contrôle robustes face aux défaillances réelles et à la complexité inhérente à la multiplicité des fournisseurs.
La formation aborde les périmètres de confiance de la passerelle, l'authentification des appelants, les listes d'autorisation de modèles, la gestion des identifiants des fournisseurs, les limites de transport et de sortie, les limitations de débit partagées, les quotas de jetons et de coûts, les filtres de sécurité, le routage tenant compte de la résidence des données, la mise en cache isolée par locataire, la télémétrie pour la détection des dérives et des abus, ainsi qu'une suite de tests de régression pour la couverture des contrôles. Elle établit également une correspondance entre les contrôles et les menaces, tout en précisant le risque résiduel en dehors de la passerelle.