سپورٹ آپریشنز کا ایک مینیجر 2025 کی پہلی سہ ماہی (Q1) کے لیے کسٹمر شکایات کا ہفتہ وار جائزہ طلب کرتا ہے، جس میں شکایات کی درجہ بندی ‘زمرہ’ (category) اور ‘وجہ’ (reason) کے لحاظ سے ہو اور انہیں ‘چینل’ (channel) کے مطابق تقسیم کیا گیا ہو۔ آپ کو complaints.csv فائل موصول ہوتی ہے جس میں 48,219 قطاریں (rows) ہیں اور اس کا دورانیہ 2025-01-01 سے 2025-03-31 تک ہے۔ اس ڈیٹا میں created_at (اندراج کی تاریخ) کے لیے تاریخ کے ملے جلے فارمیٹس، ‘وجہ’ (reason) کے خالی خانے، سسٹم کی دوبارہ کوششوں (retries) کے باعث ایک جیسے ticket_ids، اور ‘زمرہ’ (category) کے غیر یکساں لیبلز (جیسے Billing، billing اور BILLING) شامل ہیں۔
آپ کی تیار کردہ حتمی چیز (deliverable) صرف ڈیٹا کی صفائی والی فائل نہیں ہے۔ یہ تجزیے کے لیے تیار ٹیبل اور ساتھ ہی ایک ‘آڈٹ ٹریل’ (audit trail) پر مشتمل ہوتی ہے جو وضاحت کرتا ہے کہ کیا تبدیلیاں کی گئیں اور کیوں۔ اگر ڈیٹا کی صفائی کے دوران کوئی غلط فیصلہ کیا جاتا ہے، تو اس کے نتیجے میں KPI ڈیک، ماڈل یا بعد میں کیے جانے والے فیصلوں میں پیدا ہونے والی خرابی کی ذمہ داری تجزیہ کار (analyst) پر عائد ہوتی ہے۔ AI ڈیٹا کی تبدیلیوں (transformations) کے مسودے کی تیاری کو تیز تو کر سکتا ہے لیکن نتائج کی ذمہ داری قبول نہیں کر سکتا؛ لہذا، تجویز کردہ ہر اصول کو واضح کیا جانا چاہیے اور پھر آپ کی جانب سے اس کی توثیق ہونی چاہیے۔
آئیے دیکھتے ہیں کہ صفائی سے پہلے اور بعد میں یہ ڈیٹا سیٹ کیسا نظر آ سکتا ہے۔
LLM (لارج لینگویج ماڈل) ایک ایسا ماڈل ہے جو اپنے تربیتی ڈیٹا اور آپ کے فراہم کردہ ان پٹ میں موجود پیٹرنز (نمونوں) کی بنیاد پر متن تخلیق کرتا ہے۔ ڈیٹا کی صفائی (cleaning) کے کام میں، یہ ممکنہ اصول اور کوڈ تو تیار کرتا ہے لیکن آپ کے کاروباری عمل کا مشاہدہ نہیں کرتا؛ لہٰذا، یہ ‘null’ (خالی) یا ‘duplicate’ (دوہرا) ڈیٹا کے مفہوم کے بارے میں بظاہر درست مگر حقیقت میں غلط مفروضے قائم کر سکتا ہے۔
Prompt (پرامپٹ) وہ ہدایت ہے جو آپ LLM کو بھیجتے ہیں۔ عملی طور پر، آپ کا پرامپٹ ایک طرح کی ‘تفصیلات یا شرائط’ (specification) ہوتا ہے۔ اگر آپ مستقل رہنے والی خصوصیات (invariants)—جیسے کہ آیا قطاروں کی تعداد تبدیل ہو سکتی ہے یا نہیں—کی وضاحت نہیں کرتے، تو AI خود بخود کچھ ‘خاموش ڈیفالٹس’ (پہلے سے طے شدہ مفروضے) شامل کر لے گا اور آپ کو انہیں اپنانا پڑے گا۔
Context window (کونٹیکسٹ ونڈو) متن کی وہ محدود مقدار ہے جسے LLM ایک ہی وقت میں استعمال کر سکتا ہے۔ اگر آپ صرف قطاروں کا ایک نمونہ (sample) فراہم کرتے ہیں، تو ہو سکتا ہے کہ AI ان غیر معمولی صورتحال (edge cases) کو نظر انداز کر دے جو اس نمونے سے باہر پیش آتی ہیں؛ مثال کے طور پر created_at کی وہ اقدار جو صرف مہینے کے آخر میں ظاہر ہوتی ہیں۔
Hallucination (ہیلوসিনیشن) سے مراد ایسا تخلیق کردہ مواد ہے جس کی تائید آپ کے ڈیٹا یا ہدایات سے نہیں ہوتی۔ ڈیٹا کی صفائی کے عمل میں، ہیلوসিনیشن اکثر خود ساختہ زمرہ بندی (category mappings)، غائب اقدار (missing values) کی قیاسی وجوہات، یا اس پُراعتماد دعوے کی شکل میں سامنے آتی ہے کہ ڈپلیکیٹ ڈیٹا کو حذف کرنا محفوظ ہے۔ آپ ایسے چیکس (checks) اور آؤٹ پٹس (جن کا موازنہ یا ‘diff’ کیا جا سکے) کا مطالبہ کر کے اس مسئلے سے بچ سکتے ہیں جو ثبوت کے طور پر کام آ سکیں۔
آئیے جائزہ لیں کہ یہ اصطلاحات ڈیٹا کی صفائی کے عمل میں ناکامی کی مخصوص صورتوں سے کس طرح جڑی ہوئی ہیں۔
شروعات ‘پروفائلنگ’ (ڈیٹا کا ابتدائی تجزیہ) سے کریں، کیونکہ آپ ایسے اصولوں کا انتخاب نہیں کر سکتے جن کی پیمائش نہ کی گئی ہو۔ پروفائلنگ کے ذریعے ہر کالم میں ‘null’ (خالی) اقدار کی تعداد، category کے لیے منفرد اقدار کی فہرست، ticket_id کے لیے ڈپلیکیٹ (دو بار آنے والے) اندراجات کی شرح، اور created_at کے لیے ڈیٹا کی درست ساخت (parsability) کی شرح معلوم ہوتی ہے۔ AI پروفائلنگ رپورٹ کا خلاصہ تو پیش کر سکتا ہے، لیکن یہ فیصلہ آپ کرتے ہیں کہ کون سی بے قاعدگیاں (anomalies) محض غلطیاں ہیں اور کون سی کاروبار میں حقیقی تغیر (business variation) کی عکاس ہیں۔
اس کے بعد، کوڈ لکھنے سے پہلے اصول طے کریں۔ مثال کے طور پر، “ایک واضح میپنگ ٹیبل کا استعمال کرتے ہوئے category کو ‘ٹائٹل کیس’ (title case) میں یکساں بنانا” ایک اصول ہے۔ “ڈپلیکیٹ ticket_id کو ہٹانا اور قدیم ترین created_at کو برقرار رکھنا” بھی ایک اصول ہے۔ کوڈ صرف ان اصولوں کا عملی نفاذ ہے، جبکہ اصول کا اختیار آپ کے پاس ہوتا ہے۔
پھر ڈیٹا کی تبدیلی (transformations) کے عمل تیار کریں۔ AI ‘pandas’ اسکرپٹ کا مسودہ تو تیار کر سکتا ہے، لیکن آپ کو متعین جانچ کے طریقوں (deterministic checks) کے ذریعے اس کے رویے کی تصدیق کرنی چاہیے۔ تصدیق کا مطلب ہے کہ آپ کچھ مستقل معیارات (invariants) جیسے کہ قطاروں کی تعداد، منفرد ہونے کی پابندیاں (uniqueness constraints)، اور ویلیو ڈومین کی حدود کا تعین کرتے ہیں، اور اگر یہ معیارات پورے نہ ہوں تو عمل (run) کو ناکام قرار دیتے ہیں۔
آخر میں، دستاویز سازی (documentation) کریں۔ ‘آڈٹ ٹریل’ (audit trail) تبدیلیوں کا ایک ایسا ریکارڈ (log) ہوتا ہے جس میں یہ درج ہوتا ہے کہ کیا تبدیل کیا گیا، کیا ہٹایا گیا، اور کون سے مفروضے لاگو کیے گئے؛ یہ سب ایسی شکل میں محفوظ کیا جاتا ہے جسے مستقبل کا کوئی تجزیہ کار دوبارہ چلا (replay کر) سکے۔
ملاحظہ کریں کہ پروفائلنگ سے لے کر دستاویز سازی تک ورک فلو کے مختلف اجزاء کس طرح باہم مربوط ہوتے ہیں۔