Ein Support-Operations-Manager benötigt eine wöchentliche Übersicht der Kundenbeschwerden für das erste Quartal 2025, aufgeschlüsselt nach Kategorie, Grund und Kanal. Sie erhalten einen Datenauszug (complaints.csv) mit 48.219 Zeilen, der den Zeitraum vom 01.01.2025 bis zum 31.03.2025 abdeckt. Der Datensatz enthält uneinheitliche Datumsformate im Feld created_at, fehlende Angaben im Feld Grund, doppelte Ticket-IDs (verursacht durch automatische Wiederholungsversuche des Systems) sowie inkonsistente Bezeichnungen in der Spalte Kategorie (z. B. Billing, billing und BILLING).
Ihr Arbeitsergebnis ist nicht bloß eine bereinigte Datei. Es handelt sich um eine analysebereite Tabelle sowie ein Protokoll (Audit Trail), das genau erläutert, was geändert wurde und warum. Sollte eine Bereinigungsentscheidung fehlerhaft sein, trägt der Analyst die Verantwortung für die daraus resultierenden Fehler – sei es im KPI-Bericht, im Modell oder bei der darauf basierenden Entscheidung. KI kann zwar den Entwurf von Transformationsschritten beschleunigen, jedoch keine Verantwortung für die Konsequenzen übernehmen; daher muss jede vorgeschlagene Regel explizit dargelegt und von Ihnen bestätigt werden.
Sehen Sie sich an, wie dieser Datensatz vor und nach der Bereinigung aussehen kann.
Ein LLM (Large Language Model) ist ein großes Sprachmodell, das Texte auf der Grundlage von Mustern in seinen Trainingsdaten und Ihrer Eingabe generiert. Bei der Datenbereinigung erstellt es Regelvorschläge und Code; da es jedoch Ihre Geschäftsprozesse nicht kennt, kann es plausible, aber falsche Annahmen darüber treffen, was ein Nullwert oder ein Duplikat bedeutet.
Ein Prompt ist die Anweisung, die Sie an das LLM senden. In der Praxis fungiert Ihr Prompt als Spezifikation. Wenn Sie keine unveränderlichen Bedingungen (Invarianten) festlegen – etwa, ob sich die Zeilenanzahl ändern darf –, ergänzt die KI stillschweigend Standardannahmen, die Sie dann übernehmen.
Ein Kontextfenster bezeichnet die begrenzte Textmenge, die das LLM gleichzeitig verarbeiten kann. Wenn Sie nur eine Stichprobe von Zeilen eingeben, übersieht die KI möglicherweise Grenzfälle, die außerhalb dieser Stichprobe liegen – zum Beispiel created_at-Werte, die nur am Monatsende auftreten.
Eine Halluzination ist generierter Inhalt, der nicht durch Ihre Daten oder Anweisungen gestützt wird. Bei der Datenbereinigung äußern sich Halluzinationen häufig in erfundenen Kategorienzuordnungen, spekulativen Gründen für fehlende Werte oder der selbstbewussten Behauptung, Duplikate könnten bedenkenlos gelöscht werden. Sie können dem vorbeugen, indem Sie Nachweise verlangen – etwa in Form von Prüfungen, die Sie durchführen, und Ergebnissen, die Sie auf Unterschiede hin vergleichen (Diff-Verfahren).
Erfahren Sie, wie diese Begriffe mit spezifischen Fehlerquellen bei der Datenbereinigung zusammenhängen.
Beginnen Sie mit dem Profiling, denn Sie können keine Regeln festlegen, ohne die Daten zuvor analysiert zu haben. Das Profiling liefert Kennzahlen wie die Anzahl der Nullwerte pro Spalte, Listen eindeutiger Werte für category, Duplikatsraten für ticket_id sowie die Parsing-Erfolgsraten für created_at. KI kann zwar einen Profiling-Bericht zusammenfassen, doch Sie entscheiden, welche Anomalien Fehler darstellen und welche auf tatsächliche geschäftliche Schwankungen zurückzuführen sind.
Legen Sie als Nächstes die Regeln fest, bevor Sie den Code schreiben. Eine Regel könnte beispielsweise lauten: „Standardisierung von category auf Groß-/Kleinschreibung nach dem Titel-Format (Title Case) unter Verwendung einer expliziten Zuordnungstabelle.“ Oder: „Entfernen doppelter ticket_id-Einträge unter Beibehaltung des frühesten created_at-Zeitpunkts.“ Der Code ist lediglich die technische Umsetzung; die Entscheidungshoheit über die Regel liegt bei Ihnen.
Generieren Sie anschließend die Transformationen. KI kann zwar ein pandas-Skript entwerfen, doch Sie müssen dessen Verhalten durch deterministische Prüfungen verifizieren. Verifizierung bedeutet, dass Sie Invarianten – wie Zeilenanzahl, Eindeutigkeitsbedingungen und Einschränkungen des Wertebereichs – definieren und den Prozesslauf abbrechen, falls diese verletzt werden.
Dokumentieren Sie schließlich das Vorgehen. Ein Audit-Trail ist ein Änderungsprotokoll, das festhält, was geändert oder verworfen wurde und welche Annahmen zugrunde lagen – und zwar in einer Form, die es einem späteren Analysten ermöglicht, den Prozess nachzuvollziehen.
Erfahren Sie, wie die Workflow-Artefakte – vom Profiling bis zur Dokumentation – ineinandergreifen.