In diesem Kurs geht es um die Überprüfung eines KI-Systems vor dem Kauf, damit der Anwender (Deployer) eine fundierte und rechtfertigbare Kaufentscheidung treffen kann. Der Kurs basiert auf dem EU-KI-Gesetz (EU AI Act) als wichtigstem Rechtsrahmen und betrachtet die Bereiche Beschaffung und Compliance als die Akteure, die entscheiden müssen, welche Informationen angefordert und was gegebenenfalls abgelehnt werden muss. Viele Teams behandeln den Kauf von KI wie den Kauf herkömmlicher Software, bei dem eine Demo und eine Sicherheitsüberprüfung als die schwierigsten Hürden gelten. Die eigentliche Herausforderung besteht jedoch darin, das Verhalten des Systems im praktischen Einsatz zu beurteilen, da sich die Ergebnisse je nach Eingabeaufforderung (Prompt), Datenbasis und Kontext ändern können. Diese Veränderung ist oft nicht sofort offensichtlich, da der Anbieter dennoch einen perfekt ausgearbeiteten Arbeitsablauf präsentieren kann. Der Käufer muss zudem entscheiden, welche Nachweise ausreichen.
Als KI-System gilt in diesem Kurs Software, die auf der Grundlage von Eingaben Ergebnisse wie Texte, Bewertungen, Empfehlungen oder Entscheidungen generiert, welche wiederum das weitere Handeln von Personen beeinflussen können. Dies ist für die Beschaffung von Bedeutung, da dieselbe Funktion je nach Anwendungsfall – und abhängig davon, wer von den Ergebnissen betroffen ist und wie diese genutzt werden – unterschiedliche Auswirkungen haben kann (geringfügig vs. erheblich). Die eigentliche Arbeit findet bereits in alltäglichen Schritten statt, etwa bei der Prüfung der Anbieterunterlagen, der Genehmigung eines Anwendungsfalls und der Festlegung von Bedingungen für die Einführung. Kompliziert wird es, wenn sich die Kaufentscheidung nicht nur auf die Frage beschränkt, ob das System funktioniert, sondern auch darauf, welche Leistungen es in der eigenen Betriebsumgebung erbringen könnte, die in der Demo nicht gezeigt wurden. Ein Überblick über den gesamten Arbeitsablauf ist hilfreich, da jede Prüfmaßnahme einem bestimmten Zeitpunkt im Kaufprozess zugeordnet ist. Hier ist der Ablauf im Überblick dargestellt.
Ein herkömmliches Softwaretool liefert bei gleicher Eingabe meist das gleiche Ergebnis; man kann es also einmal testen und das Resultat als Anforderung festschreiben. Ein KI-System kann zwar hinsichtlich der Verfügbarkeit konsistent sein, inhaltlich jedoch schwanken, da es Ausgaben generiert oder ableitet, anstatt festen Regeln zu folgen. Das bedeutet, dass ein einzelner Abnahmetest keinen Aufschluss über den laufenden Betrieb gibt – selbst wenn der Anbieter das System als produktionsreif bezeichnet. Die Bewertung muss auf den konkreten Einsatzzweck abgestimmt sein, für den das System angeschafft wird; dazu gehört auch die Frage, wer die Ausgabe liest und welche Maßnahmen sie auslösen kann.
Eine häufige Falle bei der Beschaffung besteht darin, das Modell mit dem Produkt gleichzusetzen, obwohl das eigentliche Produkt das gesamte System drumherum ist. Zu diesem System gehören die Benutzeroberfläche, die Prompts, der Abruf von Informationen aus Ihren Dokumenten, Integrationen sowie etwaige Schritte zur menschlichen Überprüfung. Diese Komponenten bestimmen, welche Daten wohin fließen und was protokolliert wird. Zudem entscheiden sie darüber, wie leicht sich Fehler erkennen lassen, bevor sie einen Kunden, einen Bewerber oder einen Mitarbeiter erreichen.
Einkauf und Compliance müssen nicht für die Bereitstellung verantwortlich sein, um eine fundierte Due-Diligence-Prüfung durchzuführen. Sie treffen die Kaufentscheidung und legen die Bedingungen fest; das bedeutet, dass Sie vor Vertragsunterzeichnung Nachweise und klare Antworten einfordern können. Während Produkt- und IT-Teams meist für Integrationsdetails zuständig sind und der Datenschutzbereich die datenschutzrechtliche Perspektive abdeckt, können Sie dennoch von jeder dieser Gruppen einen konkreten Beitrag zur Unterstützung der Kaufentscheidung verlangen. Entscheidend ist, Fragen zu stellen, die zu Dokumenten führen, statt bloße Beruhigung zu liefern.
Eine sinnvolle Arbeitsteilung besteht darin, zwischen den Behauptungen des Anbieters, den Bestätigungen Ihrer internen Teams und den Beobachtungen aus einer Testphase zu unterscheiden. Behauptungen des Anbieters finden sich beispielsweise in Datenblättern, Sicherheitsberichten oder Gebrauchsanweisungen. Interne Bestätigungen liegen etwa in Form von Integrationshinweisen, Entwürfen für Arbeitsabläufe oder Risikofreigaben vor. Beobachtungen dokumentieren sich in Testprotokollen, Notizen von Red-Team-Tests sowie Screenshots, die zeigen, wie das System mit Ihren Prompts und Daten umgegangen ist.
Dieser Check lohnt sich nur, wenn er beeinflusst, worauf Sie als Nächstes achten. Dasselbe System kann in einer Demo sicher wirken, aber dennoch sofort Bedenken aufwerfen, sobald der Anwendungsfall und die betroffenen Personen benannt werden. Wählen Sie zu jedem Szenario den Punkt aus, der Ihnen als Erstes Sorgen bereiten würde – denn genau dieser Punkt bestimmt Ihre nächste Anfrage an den Anbieter.