2,000 कर्मचारियों वाली एक फ़िनटेक कंपनी में सपोर्ट लीड ने सिक्योरिटी टीम से संपर्क किया। उनके कस्टमर सपोर्ट चैटबॉट ने अभी-अभी एक यूज़र को बताया कि आइडेंटिटी वेरिफिकेशन (पहचान की पुष्टि) को कैसे बायपास किया जाए, और ट्रांसक्रिप्ट से पता चलता है कि बॉट ने आत्मविश्वास के साथ एक इंटरनल पॉलिसी का हवाला दिया। सवाल सुनने में आसान लगता है, लेकिन असल में पेचीदा है। क्या यह मॉडल की कोई सामान्य गलती है, प्रॉम्प्ट इंजेक्शन है, डेटा लीक है, या कोई कॉम्प्रोमाइज़्ड डिपेंडेंसी है? अगर हम घटना को तेज़ी से क्लासिफ़ाई नहीं कर पाते हैं, तो हम सही रोकथाम का तरीका नहीं चुन सकते, न ही यह तय कर सकते हैं कि कौन से सबूत सुरक्षित रखने हैं या किस टीम को शामिल करना है।
इस कोर्स में, हम ट्राइएज (triage), थ्रेट मॉडलिंग, टेस्टिंग और मॉनिटरिंग के लिए ‘OWASP Top 10 for LLM Applications 2026’ का इस्तेमाल एक साझा गाइड के तौर पर करते हैं। ट्राइएज का मतलब है तेज़ी से और ज़िम्मेदारी के साथ यह तय करना कि किस तरह की खराबी आ रही है, उसका संभावित असर (ब्लास्ट रेडियस) क्या हो सकता है, और जब हालात तेज़ी से बदल रहे हों तो आगे क्या कदम उठाने हैं। लेसन 1 का मकसद प्रोडक्शन में दिखने वाले लक्षणों को नाम देने का अभ्यास करना है, और इसके लिए ऐसी कैटेगरीज़ का इस्तेमाल करना है जो अलग-अलग टीमों और समय के साथ एक जैसी बनी रहें।
जब कोई LLM फ़ीचर ठीक से काम नहीं करता, तो टीमें अक्सर उसके मकसद और शब्दों के इस्तेमाल को लेकर बहस करने लगती हैं। इसके बजाय, हम साफ़ तौर पर दिखने वाले लक्षणों पर ध्यान देंगे। मॉडल को कौन से इनपुट सोर्स दिए गए, क्या आउटपुट मिले, और उसके बाद बाहरी तौर पर क्या असर हुआ। ये संकेत अक्सर मूल कारण (root cause) का पता चलने से पहले ही एक या दो OWASP कैटेगरीज़ की ओर इशारा करते हैं। अब हम एक सिम्युलेटेड (नकली) घटना का ट्राइएज करेंगे और मुख्य कैटेगरी को लेबल करेंगे, साथ ही उन दूसरी कैटेगरीज़ को भी देखेंगे जिन्हें साथ-साथ ट्रैक करना ज़रूरी है:
सही ढंग से क्लासिफ़ाई करने के लिए, हमें यह समझने के लिए एक कॉमन मेंटल मॉडल की ज़रूरत है कि LLM एप्लीकेशन एक सिंगल रिक्वेस्ट को कैसे तैयार करता है। कॉन्टेक्स्ट विंडो का मतलब है टोकन का वह बंडल जिसे मॉडल एक रिस्पॉन्स के लिए देखता है। इसमें अक्सर सीधे यूज़र का टेक्स्ट, नॉलेज बेस से लिए गए स्निपेट, टूल आउटपुट और सिस्टम प्रॉम्प्ट जैसे छिपे हुए निर्देश शामिल होते हैं। जब उसी कॉन्टेक्स्ट विंडो में अनट्रस्टेड कंटेंट आता है, तो यह व्यवहार को बदल सकता है, डेटा एक्सपोज़र का कारण बन सकता है या असुरक्षित डाउनस्ट्रीम एक्शन का कारण बन सकता है। अगले व्यू में, हम देखेंगे कि अनट्रस्टेड कंटेंट कहाँ से आया होगा और कैसे उसने पॉलिसी बायपास को जन्म दिया:
सिर्फ़ लेबल देखकर अंदाज़ा न लगाएँएक लक्षण कई कैटेगरी से जुड़ा हो सकता है। शुरुआती लेबल को कामचलाऊ अनुमान (वर्किंग हाइपोथीसिस) मानें और ऑप्टिमाइज़ करने से पहले सबूत संभालकर रखें।
OWASP Top 10 for LLM Applications 2026 उन एप्लीकेशन के लिए सबसे गंभीर जोखिमों की एक रैंक की गई लिस्ट है जो लार्ज लैंग्वेज मॉडल (LLM) का इस्तेमाल करते हैं। इसे इसलिए बनाया गया है ताकि सिक्योरिटी, इंजीनियरिंग और गवर्नेंस टीमें एक ही तरह की खराबी (फेलियर मोड) के बारे में एक ही नाम से बात कर सकें, और टेस्टिंग प्लान सिर्फ़ पिछली घटना के बजाय पूरे दायरे को कवर करें। यह कोर्स सभी दस कैटेगरी के हिसाब से बनाया गया है, और हम इन्हें सिर्फ़ रेफरेंस के तौर पर नहीं, बल्कि सीधे लेसन और एक्सरसाइज़ में कवर करेंगे। यहाँ वह पूरा मैप है जिसका इस्तेमाल हम पूरे कोर्स के दौरान करेंगे: