2,000 ملازمین والی ایک فن ٹیک (fintech) کمپنی میں سپورٹ لیڈ سیکیورٹی ٹیم سے رابطہ کرتا ہے۔ ان کے کسٹمر سپورٹ چیٹ بوٹ نے ابھی ایک صارف کو شناخت کی تصدیق (identity verification) سے بچنے کا طریقہ بتایا ہے، اور ٹرانسکرپٹ سے ظاہر ہوتا ہے کہ بوٹ اعتماد کے ساتھ ایک اندرونی پالیسی کا حوالہ دے رہا ہے۔ بظاہر سادہ نظر آنے والا سوال یہ ہے: کیا ہم ماڈل کی کسی عام غلطی، ‘پرامپٹ انجیکشن’ (prompt injection)، ڈیٹا لیک، یا کسی متاثرہ ‘ڈیپینڈنسی’ (dependency) کا سامنا کر رہے ہیں؟ اگر ہم واقعے کی فوری درجہ بندی نہیں کر سکتے، تو ہم نہ تو روک تھام (containment) کا درست اقدام منتخب کر سکتے ہیں، نہ ہی محفوظ کیے جانے والے شواہد کا تعین کر سکتے ہیں اور نہ ہی متعلقہ ٹیم کو طلب کر سکتے ہیں۔
اس کورس میں، ہم ‘ٹرائیاج’ (triage)، خطرات کی ماڈلنگ (threat modeling)، ٹیسٹنگ اور نگرانی کے لیے مشترکہ رہنما اصول کے طور پر OWASP Top 10 for LLM Applications 2026 کا استعمال کرتے ہیں۔ ٹرائیاج سے مراد فوری اور ذمہ دارانہ فیصلہ کرنا ہے کہ کس قسم کی خرابی واقع ہو رہی ہے، اس کا ممکنہ دائرہ کار (blast radius) کیا ہے، اور بدلتے ہوئے حالات کے باوجود آگے کیا قدم اٹھایا جائے۔ پہلے سبق کا مقصد پروڈکشن میں نظر آنے والی علامات کو ان زمروں (categories) کے تحت نام دینے کی مشق کرنا ہے جو مختلف ٹیموں اور وقت کے ساتھ مستقل رہیں۔
جب کوئی LLM فیچر غیر متوقع رویہ ظاہر کرتا ہے، تو ٹیمیں اکثر اس کے ارادے اور الفاظ کے چناؤ پر بحث کرنے لگتی ہیں۔ اس کے برعکس، ہم مشاہدہ کی جانے والی علامات پر توجہ مرکوز کریں گے: ماڈل کو کون سے ان پٹ ذرائع فراہم کیے گئے، کیا آؤٹ پٹ (نتائج) برآمد ہوئے، اور اس کے بعد کیا بیرونی اثرات مرتب ہوئے۔ یہ اشارے اکثر بنیادی وجہ (root cause) معلوم ہونے سے پہلے ہی ایک یا دو OWASP زمروں کی نشاندہی کر دیتے ہیں۔ اب ہم ایک فرضی واقعے (simulated incident) کی درجہ بندی کریں گے اور مرکزی زمرے کی نشاندہی کریں گے، نیز ان قریبی ثانوی زمروں کی بھی نشاندہی کریں گے جنہیں متوازی طور پر ٹریک کرنا ضروری ہے:
درست درجہ بندی کے لیے، ہمیں اس بات کی مشترکہ فہم درکار ہے کہ LLM ایپلی کیشن کس طرح ایک واحد درخواست (request) کو تشکیل دیتی ہے۔ کانٹیکسٹ ونڈو (Context window) سے مراد ٹوکنز (tokens) کا وہ مجموعہ ہے جسے ماڈل کسی ایک جواب کی تیاری کے دوران دیکھتا ہے۔ اس میں اکثر صارف کا براہِ راست متن، نالج بیس سے حاصل کردہ اقتباسات، ٹولز کے نتائج، اور ‘سسٹم پرامپٹ’ جیسی پوشیدہ ہدایات شامل ہوتی ہیں۔ جب اسی کانٹیکسٹ ونڈو میں کوئی غیر مصدقہ مواد (untrusted content) داخل ہوتا ہے، تو یہ ماڈل کے رویے کو تبدیل کر سکتا ہے، ڈیٹا کے افشا ہونے کا سبب بن سکتا ہے، یا غیر محفوظ اقدامات کا باعث بن سکتا ہے۔ اگلے مرحلے میں، ہم جائزہ لیں گے کہ غیر مصدقہ مواد غالباً کہاں داخل ہوا اور اس کے نتیجے میں پالیسی کی خلاف ورزی (policy bypass) کیسے واقع ہوئی:
صرف لیبل کی بنیاد پر اندازہ نہ لگائیںایک علامت (symptom) کا تعلق ایک سے زیادہ زمروں (categories) سے ہو سکتا ہے۔ ابتدائی لیبلز کو ‘کام چلانے والے مفروضوں’ (working hypotheses) کے طور پر لیں اور بہتری یا اصلاح (optimization) کرنے سے پہلے متعلقہ شواہد کو محفوظ کر لیں۔
OWASP Top 10 for LLM Applications 2026 ان ایپلی کیشنز کے لیے انتہائی اہم خطرات کی ایک درجہ بند فہرست ہے جو ‘لارج لینگویج ماڈلز’ (LLMs) کا استعمال کرتی ہیں۔ اس کا مقصد یہ ہے کہ سیکیورٹی، انجینئرنگ اور گورننس کی ٹیمیں خرابی کی اقسام (failure modes) کے بارے میں یکساں ناموں کے ساتھ بات کر سکیں، اور ٹیسٹنگ کے منصوبے صرف کسی حالیہ واقعے کے بجائے خطرات کے پورے دائرہ کار (full surface) کا احاطہ کریں۔ یہ کورس ان تمام دس زمروں پر مبنی ہے، اور ہم انہیں محض ایک ضمنی حوالے (reference appendix) کے طور پر دیکھنے کے بجائے اسباق اور مشقوں میں براہِ راست شامل کریں گے۔ یہاں وہ مکمل ‘میپ’ موجود ہے جسے ہم پورے کورس کے دوران استعمال کریں گے: