Northbridge Health, una organización de salud estadounidense con 1200 empleados, está preparando CareGuide para su portal de pacientes. CareGuide utiliza un modelo de lenguaje de gran tamaño (LLM), un sistema que genera texto a partir de la solicitud de un usuario. Antes del lanzamiento, el equipo se enfrenta a una decisión práctica: ¿el hecho de que el chat parezca útil significa que CareGuide está listo para los pacientes, aun cuando podría exponer información de estos u ofrecer orientación sanitaria insegura?
La evaluación de seguridad recopila evidencia sobre cómo se comporta una aplicación basada en LLM en situaciones que podrían causar daños. Difiere de la evaluación de calidad, que analiza si las respuestas son fluidas, relevantes o útiles. La evidencia de seguridad respalda las decisiones sobre el lanzamiento, la pausa, el rediseño y la supervisión. Asimismo, proporciona al equipo un registro de lo que se probó, lo que falló y lo que aún genera incertidumbre. Analicemos la información de los pacientes, los posibles riesgos y la decisión de implementación en torno a CareGuide.
Tres actividades aportan diferentes tipos de evidencia. Las pruebas de seguridad verifican si CareGuide cumple con las expectativas definidas respecto a riesgos conocidos. El red teaming busca deliberadamente formas inesperadas en las que una persona podría provocar un comportamiento inseguro, como eludir una restricción. La evaluación comparativa (benchmarking) mide un sistema frente a un conjunto de pruebas coherente (ya sea público o interno), lo que permite comparar versiones o sistemas entre sí. Ninguna de ellas ofrece una respuesta completa por sí sola.
En el caso de un chatbot para pacientes, un mismo fallo visible puede requerir las tres perspectivas: las pruebas verifican el comportamiento previsto, el red teaming explora las vulnerabilidades y la evaluación comparativa aporta un punto de comparación reproducible. Los resultados públicos de las evaluaciones comparativas sirven de base para plantear interrogantes, pero no pueden demostrar que CareGuide sea seguro en el contexto de un portal para pacientes. Considere cómo estas tres actividades enmarcan los fallos de CareGuide.