Ein Stakeholder benötigt eine Auswertung der monatlich aktiven Nutzer (MAU) und der Kundenbindung (Retention) nach Tarifstufe, basierend auf einem Export der SaaS-Produktnutzung für den Zeitraum vom 01.01.2025 bis zum 30.06.2025. Die CSV-Datei umfasst 120.000 Zeilen auf Ereignisebene und enthält uneinheitliche Zeitstempelformate, fehlende user_id-Werte sowie durch Replays verursachte doppelte Ereignisse. Die Datenbereinigung ist keine bloße Vorarbeit; sie umfasst vielmehr die analytischen Entscheidungen darüber, was als Aktivität gilt, wer als Nutzer zählt und welche Datensätze zulässig sind.
Das Ergebnis Ihrer Arbeit muss revisionssicher sein. Sie verfügen über einen reproduzierbaren, bereinigten Datensatz sowie ein Änderungsprotokoll, das jede Transformation begründet. KI kann Code entwerfen, Grenzfälle (Edge Cases) auflisten und Validierungsprüfungen vorschlagen. Sie bestätigen die Definitionen, legen Schwellenwerte fest und tragen die Verantwortung für nachgelagerte Fehler, falls eine Bereinigungsentscheidung eine Kennzahl verfälscht.
Bevor Sie mit der Programmierung beginnen, müssen Sie definieren, was im Kontext dieser Fragestellung als „ausreichend sauber“ gilt. Diese Definition bildet die Grundlage für Abnahmetests, die das bereinigte Ergebnis bestehen muss.
Jede Entscheidung zur Datenbereinigung stellt einen statistischen Eingriff dar. Sie verändert den Prozess, von dem man annimmt, dass er die Tabelle erzeugt hat, und beeinflusst die Schätzwerte.
Der Mechanismus des Fehlens (Missingness Mechanism) beschreibt den Grund, warum Werte fehlen. Wenn das Feld plan_tier leer ist, weil die Verknüpfung mit der Abrechnungstabelle für eine bestimmte Woche fehlgeschlagen ist, führt die Imputation des häufigsten Tarifs zu verfälschten Segmentzahlen und verzerrt die Retention-Werte nach Tarif. Fehlende Werte müssen als „nicht gemessen“, „nicht erfasst“ oder „nicht zutreffend“ gekennzeichnet werden; erst danach sollte die Entscheidung zwischen Löschung, Imputation oder einer eigenen Kategorie fallen. KI-Systeme können zwar Optionen vorschlagen, den zugrundeliegenden Mechanismus jedoch nicht allein aus der Spalte ableiten.
Die Deduplizierungsregel definiert aus geschäftlicher Sicht, was als Duplikat gilt. Wenn wiederholte Ereignisse (Replays) innerhalb eines Zeitfensters von 5 Sekunden dieselben Werte für user_id, event_name und event_ts aufweisen, kann ihre Zusammenfassung für Nutzungsstatistiken korrekt, für Latenzanalysen jedoch falsch sein. Wenn eine KI Duplikate mittels drop_duplicates() entfernt, wählt sie die Schlüssel und die Prioritäten oft automatisch und ohne explizite Rückfrage aus. Sie müssen daher die Schlüssel, die Regeln für Gleichstände (Tie-Breaker) und die Auswirkungen auf die Metriken selbst festlegen.
Die Typumwandlung (Type Coercion) beeinflusst die Sortierung und Gruppierung von Daten. Eine fehlerhafte Interpretation (Parsing) des Zeitstempels event_ts kann dazu führen, dass Ereignisse einem anderen Monat zugeordnet werden, was eine fälschliche Veränderung der MAU-Zahlen (Monthly Active Users) vortäuscht. Sie müssen daher die Erfolgsrate beim Parsing sowie die zugrundeliegenden Annahmen zur Zeitzone überprüfen.