Este curso trata sobre la evaluación de un sistema de IA antes de su adquisición, para que el implementador pueda tomar una decisión de compra fundamentada y defendible. Se basa en la Ley de IA de la UE como marco jurídico principal y considera a los equipos de compras y cumplimiento normativo como los responsables de decidir qué solicitar y qué rechazar. Muchos equipos abordan la compra de IA como si fuera la de cualquier otro software, donde la demostración y la revisión de seguridad parecen ser la parte más compleja. Sin embargo, la verdadera dificultad radica en evaluar cómo se comporta el sistema durante su uso real, ya que sus resultados pueden variar en función de las instrucciones (prompts), los datos y el contexto. Esta variación puede pasar desapercibida, ya que el proveedor sigue mostrando un flujo de trabajo impecable. Corresponde al comprador determinar qué nivel de evidencia resulta suficiente.
En este curso, se define un sistema de IA como aquel software que genera resultados —tales como textos, puntuaciones, recomendaciones o decisiones— a partir de datos de entrada, influyendo así en las acciones posteriores de los usuarios. Este aspecto es crucial en los procesos de adquisición, dado que una misma funcionalidad puede tener un impacto bajo en un escenario de uso y un impacto alto en otro, dependiendo de a quién afecten los resultados y de cómo se utilicen. Esta labor se integra en pasos cotidianos, como la revisión de la documentación del proveedor, la aprobación de un caso de uso y el establecimiento de condiciones para el despliegue. La complejidad surge cuando la pregunta clave no es solo si el sistema funciona, sino qué podría hacer en nuestro entorno específico que no se mostró durante la demostración. Visualizar el flujo de trabajo completo desde el principio resulta útil, ya que cada verificación corresponde a una etapa concreta del proceso de compra. A continuación, se presenta un resumen de dicho flujo de trabajo.
Una herramienta de software convencional suele realizar la misma acción ante la misma entrada de datos; por ello, basta con probarla una vez y fijar el resultado como requisito. Un sistema de IA puede mantener una disponibilidad constante y, sin embargo, ofrecer resultados inconsistentes en cuanto a contenido, ya que genera o infiere las respuestas en lugar de seguir reglas preestablecidas. Esto significa que no puede confiar en una única prueba de aceptación para garantizar el funcionamiento continuo, ni siquiera cuando el proveedor afirma que el sistema está listo para producción. Es necesario vincular la evaluación al uso específico para el que se adquiere la herramienta, teniendo en cuenta quién leerá los resultados y qué acciones podrían desencadenarse a partir de ellos.
Un error común en los procesos de adquisición es considerar el modelo como el producto en sí, cuando en realidad el producto es el sistema completo que lo rodea. Este sistema abarca la interfaz de usuario, las instrucciones (prompts), la recuperación de información de sus documentos, las integraciones y cualquier fase de revisión humana. Estos elementos determinan el flujo de datos y qué información se registra. Asimismo, definen la facilidad con la que se pueden detectar errores antes de que lleguen a un cliente, un candidato o un empleado.
Los departamentos de compras y cumplimiento normativo no necesitan gestionar la implementación técnica para llevar a cabo una diligencia debida eficaz. Usted tiene la potestad de decidir sobre la compra y establecer las condiciones, lo que le permite exigir documentación específica y respuestas claras antes de formalizar el contrato. Si bien los equipos de producto y TI suelen encargarse de los detalles de integración, y el equipo de privacidad aborda la protección de datos, usted puede solicitar a cada uno de ellos información concreta que respalde la decisión de compra. La clave reside en formular preguntas que generen documentación, no meras garantías verbales.
Una división del trabajo útil consiste en diferenciar entre las afirmaciones del proveedor, las confirmaciones de sus equipos internos y las observaciones realizadas durante una prueba. Las afirmaciones del proveedor se encuentran en documentos como fichas técnicas, informes de seguridad o manuales de uso. Las confirmaciones internas se reflejan en notas de integración, borradores de procedimientos operativos o aprobaciones de gestión de riesgos. Por último, las observaciones provienen de registros de pruebas, notas de equipos de evaluación de seguridad (red teams) y capturas de pantalla que muestran cómo procesó el sistema sus instrucciones y datos.
Esta revisión solo resulta útil si modifica los aspectos a los que prestará atención a continuación. Un mismo sistema puede parecer seguro en una demostración y, sin embargo, suscitar dudas inmediatas en cuanto se define el caso de uso y se identifican las personas afectadas. Identifique la principal inquietud que le surgiría ante cada escenario, ya que será esa preocupación la que determine su próxima solicitud al proveedor.