एक पब्लिक सपोर्ट चैटबॉट को मुझे अपना पासवर्ड रीसेट करने में मदद चाहिए जैसा मैसेज मिलता है, वह अकाउंट-हेल्प आर्टिकल निकालता है और रीसेट करने के मंज़ूर किए गए स्टेप्स दिखाता है। इसका सुरक्षित व्यवहार सिर्फ़ जवाब वाले टेक्स्ट पर निर्भर नहीं करता। एप्लीकेशन में सिस्टम निर्देश, निकाले गए डॉक्यूमेंट, वैकल्पिक अकाउंट टूल, यूज़र डेटा और लॉग भी होते हैं। जेलब्रेक एक ऐसी कोशिश है जिसमें इनपुट के ज़रिए मॉडल को उसके सुरक्षा नियमों या तय व्यवहार की सीमाओं को तोड़ने के लिए मजबूर किया जाता है। इस चैटबॉट में, यह कोशिश यूज़र इनपुट से शुरू होती है और मॉडल के सुरक्षा व्यवहार को निशाना बनाती है।
तुरंत होने वाला जोखिम असुरक्षित जवाब हो सकता है, लेकिन बड़ा जोखिम तब होता है जब जवाब किसी दूसरे कंपोनेंट पर असर डालता है। अगर मॉडल lookup_order को कॉल कर सकता है, तो बदला हुआ आउटपुट यूज़र के अकाउंट के बाहर का डेटा मांग सकता है। अगर मॉडल सिर्फ़ टेक्स्ट बनाता है और एप्लीकेशन कोड में हर एक्शन को वेरिफ़ाई करती है, तो उसी गलत व्यवहार का असर कम होता है। इसलिए हम यह पता लगाते हैं कि भरोसेमंद न होने वाला कंटेंट कहाँ से आता है और आस-पास की एप्लीकेशन मॉडल के आउटपुट को कहाँ तक पहुँचने देती है। इस सपोर्ट-चैट फ़्लो में भरोसे की सीमाओं को देखें:
चैटबॉट पाइपलाइन दिखाती है कि जेलब्रेकिंग क्यों इनपुट से जुड़ी एक बड़ी समस्या का हिस्सा है। प्रॉम्प्ट इंजेक्शन तब होता है जब कोई कंटेंट मॉडल के व्यवहार को इस तरह से बदल देता है जैसा एप्लिकेशन डेवलपर ने नहीं चाहा था। मौजूदा लैंग्वेज मॉडल सिस्टम इंस्ट्रक्शन, यूज़र मैसेज, रिट्रीव किए गए पैसेज और टूल के नतीजों को एक शेयर्ड टोकन कॉन्टेक्स्ट में प्रोसेस करते हैं। USER_DATA जैसे लेबल मकसद को साफ़ कर सकते हैं, लेकिन वे कोई मज़बूत सिक्योरिटी बाउंड्री नहीं बनाते।
जेलब्रेकिंग डायरेक्ट प्रॉम्प्ट इंजेक्शन का ही एक हिस्सा है, जिसका मकसद मॉडल के सेफ्टी प्रोटोकॉल को बायपास करना होता है। डायरेक्ट इंजेक्शन यूज़र के मैसेज के ज़रिए आता है, जैसे कोई ऐसी रिक्वेस्ट जो सपोर्ट रोल के खिलाफ हो। इनडायरेक्ट इंजेक्शन उस कंटेंट के ज़रिए आता है जिसे मॉडल पढ़ता है, जैसे रिट्रीव किया गया कोई हेल्प आर्टिकल जिसमें इंस्ट्रक्शन जैसा कोई वाक्य हो। दोनों ही मामलों में, मकसद मॉडल के व्यवहार को बदलना होता है। डिलीवरी का सोर्स यह तय करता है कि हमें कंट्रोल कहाँ लागू करने हैं।
OWASP इस कैटेगरी को LLM01:2026 Prompt Injection के तौर पर पहचानता है। यह इनपुट-साइड की खराबी को सेंसिटिव जानकारी के लीक होने (जिसका संबंध आउटपुट में क्या बाहर जाता है, उससे है) और ज़रूरत से ज़्यादा एजेंसी (जिसका संबंध आउटपुट के प्रिविलेज्ड एक्शन तक पहुँचने के नतीजों से है) से अलग करता है। हमारे चैटबॉट के लिए, यूज़र का कोई मैसेज जो रिस्पॉन्स को बदल दे, वह डायरेक्ट इंजेक्शन है; कोई खराब (पॉइज़न्ड) रिट्रीव किया गया आर्टिकल इनडायरेक्ट इंजेक्शन है; सेफ्टी व्यवहार को खत्म करने की सीधी कोशिश भी जेलब्रेक है। आगे सोर्स, टारगेट और रोकथाम के विकल्पों की तुलना करें: