Etablieren Sie einen klar definierten Workflow für Ihren autorisierten Test, bevor Sie ein Large Language Model (LLM) mit der Analyse von Kundendaten beauftragen. Ein Large Language Model (LLM) generiert Texte auf der Grundlage von Mustern in den Eingabedaten. Bei einem Penetrationstest kann es zwar die routinemäßige Interpretation von Ergebnissen beschleunigen, jedoch nicht eigenständig beurteilen, ob eine Aussage zutreffend, zulässig oder bereit für die Übergabe an den Kunden ist.
Simuliertes Szenario:
Während eines vertraglich vereinbarten Assessments für Redwood Payments übergibt ein Tester einem LLM einen Scan-Text, der auf eine kritische Schwachstelle hinzuweisen scheint. Das Modell entwirft eine ausformulierte Schwachstellenbeschreibung inklusive CVE-Referenz und geschäftlicher Auswirkungsanalyse. Der Tester überprüft die Rohdaten des Scans sowie die Zielversion, stellt fest, dass die CVE-Meldung nicht zutrifft, und entfernt den Eintrag, bevor der Bericht an den Kunden übermittelt wird.
Das eigentliche Ziel ist nicht lediglich eine schnellere Texterstellung, sondern fundierte Nachweise, ein präziser Bericht und das Vertrauen des Kunden. Jeder Beitrag des LLM verbleibt innerhalb des vereinbarten Leistungsumfangs und durchläuft eine menschliche Prüfinstanz, bevor er eine Schwachstellenbeschreibung oder ein für den Kunden bestimmtes Dokument verändert. Integrieren wir diese Prüfschritte nun in den Workflow für Redwood Payments:
Ein Verifizierungsschritt (Verification Gate) ist ein Punkt, an dem der Tester die Ausgabe des LLM mit Primärnachweisen abgleicht, bevor er sie verwendet. Zu den Primärnachweisen gehören Ausgaben zugelassener Tools, Zeitstempel, Befehle, Screenshots und validierte Details zum Zielsystem. Der Tester trägt die Verantwortung für die jeweilige Aussage, auch wenn das LLM das Material strukturiert oder den Textentwurf erstellt hat.
[Quellen][/Quellen]
Nutzen Sie das LLM für klar begrenzte Unterstützungsaufgaben. Es kann Notizen aus der Aufklärungsphase (Recon) zusammenfassen, Scan-Ergebnisse sichten und priorisieren, einen bestätigten Befund erläutern sowie Textentwürfe für Berichte erstellen. Es darf jedoch keine Exploits generieren, den autorisierten Prüfumfang erweitern oder den Nachweis ersetzen, dass eine Schwachstelle am zugelassenen Zielsystem tatsächlich vorliegt. An jedem zulässigen Interaktionspunkt können wir die erforderlichen Prüfschritte durchführen:
[Quellen][/Quellen]
Fehler durch LLMs bergen spezifische Risiken für Penetrationstests, da geschliffene Formulierungen unbelegte Behauptungen glaubwürdig erscheinen lassen können. Erfundene CVEs, falsch eingeschätzte Schweregrade, Fehlalarme (False Positives), eine schleichende Ausweitung des Testumfangs (Scope Creep) und Datenabflüsse erfordern jeweils unterschiedliche Verifizierungsverfahren. Der Hinweis auf ein mögliches Problem ist nur dann sinnvoll, wenn der Tester es anhand der zugrundeliegenden Belege reproduzieren oder widerlegen kann.
Belege zuerst Betrachten Sie einen LLM-Entwurf als Arbeitsnotiz. Ein Befund wird erst dann berichtenswert, wenn Belege, Umfang, Auswirkungen und Referenzen der Überprüfung durch den Tester standhalten.
Kundendaten stellen einen gesonderten Grenzbereich dar. Scan-Ergebnisse, Protokolle, Authentifizierungsdaten und personenbezogene Informationen können Daten enthalten, deren Weitergabe an einen externen Dienst der Kunde nie zugestimmt hat. Schwärzen oder unterlassen Sie die Weitergabe solcher Daten, sofern keine schriftliche Genehmigung vorliegt, die den spezifischen Dienst und Verwendungszweck abdeckt. Jeder Fehlertyp lässt sich einer entsprechenden Vermeidungsstrategie zuordnen: