एक मध्यम आकार की फिनटेक कंपनी कस्टमर सपोर्ट के लिए ‘रिट्रीवल ऑगमेंटेड जेनरेशन’ (RAG) चैटबॉट चलाती है, जो इंटरनल रनबुक और पिछली टिकटों से जानकारी निकाल सकता है। एक कस्टमर ऐसा मैसेज भेजता है जो बिलिंग से जुड़ा सामान्य सवाल लगता है, लेकिन उसमें एक छिपा हुआ निर्देश होता है जो मॉडल को इंटरनल एस्केलेशन गाइडेंस बताने और फिर उसे यूज़र के लिए समराइज़ करने के लिए कहता है। मॉडल ऐसा करता है, और चैटबॉट ऐसी जानकारी देता है जिसे कभी भी बाहरी लोगों के साथ शेयर नहीं किया जाना चाहिए था। इस कोर्स में हम इसी तरह की गड़बड़ी को रोकने की कोशिश कर रहे हैं, जहाँ LLM01 प्रॉम्प्ट इंजेक्शन एंट्री पॉइंट है और LLM02 संवेदनशील जानकारी का खुलासा (Sensitive Information Disclosure) इसका असर है।
लेसन 1 का मुख्य मकसद चीज़ों को सही ढंग से क्लासिफ़ाई करने की आदत डालना है। चैटबॉट के किसी ट्रांसक्रिप्ट को देखकर, हमें इसके मूल कारण को LLM01 या उससे मिलती-जुलती किसी कैटेगरी के तौर पर पहचानना आना चाहिए। साथ ही, हमें यह भी अंदाज़ा लगाना चाहिए कि उसी घटना की कड़ी में आमतौर पर OWASP की कौन-सी अन्य कैटेगरी शामिल हो सकती हैं, ताकि हम सिर्फ़ एक जगह सुधार करने के बजाय लेयर्ड कंट्रोल (कई स्तरों पर सुरक्षा उपाय) डिज़ाइन कर सकें। अगला विजेट सिस्टम लेवल पर इंजेक्शन से लेकर जानकारी के खुलासे तक के रास्ते को दिखाता है, ताकि हम बाद में किए जाने वाले बचाव के उपायों को एक ठोस प्रक्रिया के आधार पर लागू कर सकें।
LLM-आधारित ऐप्लिकेशन्स के लिए OWASP Top 10 (2026) उन दस आम कमियों या फेलियर मोड्स की एक रैंक की गई लिस्ट है जो इन ऐप्लिकेशन्स में हो सकती हैं। हम इस प्रोग्राम में ज़रूरतों, थ्रेट मॉडलिंग, टेस्टिंग और रिपोर्टिंग के लिए इसे एक कॉमन भाषा के तौर पर इस्तेमाल करेंगे। पूरी लिस्ट इस प्रकार है: LLM01 प्रॉम्प्ट इंजेक्शन, LLM02 संवेदनशील जानकारी का खुलासा, LLM03 ज़रूरत से ज़्यादा एजेंसी (अधिकार), LLM04 सप्लाई चेन, LLM05 डेटा और मॉडल पॉइज़निंग, LLM06 अनियंत्रित खपत, LLM07 गलत जानकारी, LLM08 छिपे हुए संदर्भ का खुलासा, LLM09 वेक्टर और एम्बेडिंग की कमज़ोरियाँ, और LLM10 आउटपुट को गलत तरीके से संभालना।
यह कोर्स LLM01 प्रॉम्प्ट इंजेक्शन को शुरू से आखिर तक कवर करता है, जिसमें डायरेक्ट और इनडायरेक्ट इंजेक्शन, डिफेंस-इन-डेप्थ कंट्रोल और उनकी टेस्टिंग के तरीके शामिल हैं। यह LLM02 संवेदनशील जानकारी का खुलासा, LLM03 ज़रूरत से ज़्यादा एजेंसी, LLM08 छिपे हुए संदर्भ का खुलासा और LLM10 आउटपुट को गलत तरीके से संभालने जैसे मुद्दों को भी सीधे तौर पर छूता है, क्योंकि असल आर्किटेक्चर में इनके अक्सर आगे चलकर असर पड़ते हैं या ये समस्याओं को और बढ़ा देते हैं। बाकी एंट्रीज़ को हम संबंधित डिपेंडेंसी मानते हैं; यानी हम उनका ज़िक्र तब करेंगे जब LLM01 के लिए चुना गया कोई कंट्रोल कहीं और जोखिम पैदा करे, या जब आपके प्रोग्राम को यह बताने के लिए किसी बाउंड्री स्टेटमेंट की ज़रूरत हो कि किसी खास रिव्यू के दायरे में क्या-क्या शामिल नहीं है। पूरी लिस्ट देखने और यह जानने के लिए कि यह प्रोग्राम किन चीज़ों को सबसे गहराई से कवर करता है, अगले विजेट का इस्तेमाल करें।