एक सपोर्ट ऑपरेशन्स मैनेजर Q1 2025 के लिए कस्टमर की शिकायतों का साप्ताहिक ब्यौरा माँगता है, जिसमें category (श्रेणी) और reason (कारण) के आधार पर जानकारी हो और उसे channel (चैनल) के हिसाब से अलग-अलग किया गया हो। आपको 2025-01-01 से 2025-03-31 तक की 48,219 लाइनों वाली एक complaints.csv फ़ाइल मिलती है। इसमें created_at में अलग-अलग तरह के डेट फ़ॉर्मैट, खाली reason वैल्यू, सिस्टम की दोबारा कोशिशों (retries) के कारण एक जैसी ticket_id और Billing, billing, और BILLING जैसे अलग-अलग तरह से लिखे गए category लेबल शामिल हैं।
आपको सिर्फ़ एक क्लीन की हुई फ़ाइल ही नहीं देनी है। आपको एक ऐसी टेबल देनी है जो एनालिसिस के लिए तैयार हो और साथ ही एक ऑडिट ट्रेल भी देना है जिसमें साफ़ तौर पर बताया गया हो कि क्या बदला गया और क्यों। अगर क्लीनिंग का कोई फ़ैसला गलत होता है, तो KPI डेक, मॉडल या उसके बाद लिए गए फ़ैसले में होने वाली गलती की ज़िम्मेदारी एनालिस्ट की होगी। AI बदलावों का ड्राफ़्ट तेज़ी से तैयार कर सकता है, लेकिन नतीजों की ज़िम्मेदारी नहीं ले सकता, इसलिए हर सुझाए गए नियम को साफ़ तौर पर बताना होगा और फिर आपको उसे मंज़ूरी देनी होगी।
आइए देखें कि क्लीनिंग से पहले और बाद में यह डेटासेट कैसा दिख सकता है।
LLM एक बड़ा लैंग्वेज मॉडल है जो अपने ट्रेनिंग डेटा और आपके दिए गए इनपुट के पैटर्न से टेक्स्ट बनाता है। डेटा क्लीनिंग के काम में, यह संभावित नियम और कोड तो बनाता है, लेकिन यह आपके बिज़नेस प्रोसेस को नहीं देखता; इसलिए, यह ‘नल’ (null) या ‘डुप्लिकेट’ (duplicate) के मतलब के बारे में ऐसी धारणाएँ बना सकता है जो सुनने में तो सही लगें, पर असल में गलत हों।
प्रॉम्प्ट (prompt) वह निर्देश है जो आप LLM को भेजते हैं। असल में, आपका प्रॉम्प्ट एक स्पेसिफिकेशन (विस्तृत निर्देश) होता है। अगर आप कुछ खास बातें (जैसे कि क्या रो-काउंट बदल सकता है) नहीं बताते हैं, तो AI खुद ही कुछ डिफ़ॉल्ट मान लेगा, और वे आप पर भी लागू हो जाएँगे।
कॉन्टेक्स्ट विंडो (context window) टेक्स्ट की वह सीमित मात्रा है जिसे LLM एक बार में इस्तेमाल कर सकता है। अगर आप सिर्फ़ कुछ रो (rows) का सैंपल पेस्ट करते हैं, तो AI उन खास मामलों (edge cases) को छोड़ सकता है जो सैंपल के बाहर होते हैं, जैसे कि created_at वैल्यू जो सिर्फ़ महीने के आखिर में दिखती हैं।
हैलुसिनेशन (hallucination) ऐसा कंटेंट है जो आपके डेटा या निर्देशों पर आधारित नहीं होता। क्लीनिंग के काम में, हैलुसिनेशन अक्सर मनगढ़ंत कैटेगरी मैपिंग, गायब वैल्यू के कारणों का अंदाज़ा लगाने, या पूरे भरोसे के साथ यह कहने के रूप में सामने आता है कि डुप्लिकेट को हटाना सुरक्षित है। आप इससे ऐसे सबूत मांगकर बच सकते हैं जिन्हें चेक के तौर पर चलाया जा सके और जिनके आउटपुट की तुलना (diff) की जा सके।
जानें कि ये शब्द क्लीनिंग में होने वाली खास तरह की गड़बड़ियों से कैसे जुड़े हैं।
प्रोफ़ाइलिंग से शुरुआत करें, क्योंकि आप ऐसे नियम नहीं चुन सकते जिन्हें आपने मापा न हो। प्रोफ़ाइलिंग से हर कॉलम में ‘null’ की संख्या, category के लिए अलग-अलग वैल्यू की लिस्ट, ticket_id के लिए डुप्लीकेट रेट और created_at के लिए पार्स करने की क्षमता (parsability) का पता चलता है। AI प्रोफ़ाइलिंग रिपोर्ट का सारांश बना सकता है, लेकिन यह तय करना आपका काम है कि कौन सी विसंगतियां (anomalies) गलतियां हैं और कौन सी असल बिज़नेस वेरिएशन।
इसके बाद, कोड लिखने से पहले नियम तय करें। उदाहरण के लिए, “एक स्पष्ट मैपिंग टेबल का इस्तेमाल करके category को टाइटल केस में स्टैंडर्डाइज़ करना” एक नियम है। “सबसे पुराने created_at को रखते हुए डुप्लीकेट ticket_id को हटाना” एक नियम है। कोड सिर्फ़ उसे लागू करने का तरीका है, और नियम आपके होते हैं।
फिर ट्रांसफ़ॉर्मेशन (बदलाव) तैयार करें। AI एक pandas स्क्रिप्ट का ड्राफ़्ट बना सकता है, लेकिन आपको निश्चित जांच (deterministic checks) के ज़रिए इसके व्यवहार को वेरिफ़ाई करना होगा। वेरिफ़िकेशन का मतलब है कि आप रो काउंट (row counts), यूनिकनेस कंस्ट्रेंट (uniqueness constraints) और वैल्यू डोमेन कंस्ट्रेंट जैसे इनवेरिएंट्स (invariants) तय करते हैं, और अगर वे टूटते हैं तो रन को फ़ेल कर देते हैं।
आखिर में, डॉक्यूमेंटेशन करें। ऑडिट ट्रेल एक चेंज लॉग होता है जो रिकॉर्ड करता है कि क्या बदला गया, क्या हटाया गया और क्या धारणाएं (assumptions) लागू की गईं; इसे ऐसे फ़ॉर्मेट में रखा जाता है जिसे भविष्य का एनालिस्ट दोबारा चला (replay) सके।
देखें कि प्रोफ़ाइलिंग से लेकर डॉक्यूमेंटेशन तक वर्कफ़्लो के सभी हिस्से (artifacts) एक-दूसरे के साथ कैसे जुड़ते हैं।