Sie sind als Analyst für ein Feature-Experiment zu einem neuen Onboarding-Bildschirm zuständig. Die Produktleitung erwartet bis Freitag eine Entscheidung (Go oder No-Go) auf der Grundlage eines A/B-Tests, der 14 Tage lang mit 240.000 geeigneten Nutzern (aufgeteilt im Verhältnis 50:50) durchgeführt wurde. Ihnen liegen Ereignisdaten in einer Tabelle (z. B. experiment_events) vor; diese enthält pro Nutzer und Tag eine Zeile, identifiziert durch user_id, date und variant, sowie Ergebnisse wie activated_7d.
KI kann Ihren Arbeitsablauf zwar beschleunigen, Ihnen jedoch nicht die Entscheidung abnehmen. Sie tragen die Verantwortung für etwaige negative Folgen nach dem Rollout – etwa wenn die Nutzerbindung (Retention) sinkt, weil eine Kennzahl falsch definiert, ein Segment ausgeschlossen oder eine Annahme verletzt wurde. Betrachten Sie die KI als Werkzeug, das Entwürfe für Zusammenfassungen, Code und Checklisten erstellt, die Sie anschließend anhand der Daten und Ihres Versuchsaufbaus überprüfen.
Lernen Sie die wesentlichen Schritte dieses Prozesses kennen.
Ein LLM (Large Language Model) ist ein Textmodell, das auf der Grundlage Ihrer Eingabe plausible Fortsetzungen generiert. Im Kontext von Experimenten bedeutet dies, dass es Analysepläne entwerfen, Code schreiben und Ergebnisse zusammenfassen kann – selbst dann, wenn es falsch liegt, aber dennoch überzeugend und sicher klingt. Ein Prompt ist die Anweisung samt Kontext, die Sie dem Modell geben. Wenn Ihr Prompt vage ist, verleiten Sie das Modell dazu, Lücken mit Vermutungen statt mit belegbaren Fakten zu füllen.
Wenn das Modell Analyse-Code schreibt, spricht man von Code-Generierung. Sie müssen diesen Code dennoch ausführen, überprüfen und sicherstellen, dass er Ihrem Versuchsdesign entspricht. Wenn das Modell Details erfindet, die nicht durch Ihren Datensatz oder Ihre Protokolle gestützt werden, handelt es sich um eine Halluzination. Bei A/B-Tests äußern sich Halluzinationen etwa durch frei erfundene Stichprobengrößen, unbegründete kausale Aussagen oder die Wahl eines Tests, der stillschweigend Normalverteilung voraussetzt.
Tool-Nutzung bedeutet, dass das Modell zugelassene Werkzeuge wie SQL-Ausführungsumgebungen oder Notebook-Kernel aufrufen kann. Es validiert dabei jedoch nicht die Messung selbst, sondern führt lediglich Anweisungen aus. Sie müssen überprüfen, ob die ausgeführte Abfrage tatsächlich der Experiment-Population und den Ausschlusskriterien entspricht.
Erfahren Sie, wie die Ergebnisse einer KI auf kleine, aber folgenschwere Weise fehlerhaft sein können.
KI ist dort am hilfreichsten, wo die Arbeit strukturiert und die Überprüfung präzise ist. Die Qualitätssicherung der Datenerfassung (Instrumentation QA) ist ein gutes Beispiel dafür. Sie können die KI bitten, Abfragen zu erstellen, die auf fehlende Variant-Zuweisungen, unerwartete Einbrüche bei Ereignissen an einem bestimmten Datum oder Ungleichgewichte in der Platform-Verteilung prüfen. Sie verifizieren die Ergebnisse, indem Sie die Abfragen ausführen und sicherstellen, dass die gezählten Werte mit Ihrer Zuweisungstabelle übereinstimmen.
Auch bei der Definition von Metriken liegt ein großes Potenzial. Die KI kann einen Entwurf für die Spezifikation der Metrik activated_7d erstellen und erforderliche Ausschlüsse auflisten; Sie jedoch legen die Definition fest und stellen sicher, dass sie dem geschäftlichen Verständnis von Erfolg entspricht. Wenn der Stakeholder unter „Aktivierung“ den Abschluss von Schritt 3 versteht, Ihre Metrik jedoch jede beliebige Sitzung innerhalb von 7 Tagen umfasst, ist das Experimentergebnis aus operativer Sicht falsch – selbst bei einem niedrigen p-Wert.
Zudem kann die KI einen Entwurf für die Interpretation der Analyseergebnisse (das „Narrativ“) verfassen. Die Berechnung der primären Schätzung, des Konfidenzintervalls und der für die Entscheidung relevanten Segmentierung übernehmen weiterhin Sie. Die KI liefert den ersten Entwurf, doch Sie verantworten jede Aussage im Endergebnis.
Versuchen Sie, gängige Aufgaben entsprechenden Graden der KI-Einbindung zuzuordnen.