يتلقى روبوت محادثة مخصص للدعم العام رسالة مفادها “أحتاج إلى مساعدة في إعادة تعيين كلمة المرور الخاصة بي”، فيقوم باسترجاع المقالة الخاصة بمساعدة الحساب وعرض خطوات إعادة التعيين المعتمدة. ولا يقتصر السلوك الآمن للروبوت على نص الرد فحسب؛ إذ يحتوي التطبيق أيضاً على تعليمات النظام، والمستندات المسترجعة، وأدوات الحساب الاختيارية، وبيانات المستخدم، وسجلات العمليات. وتُعرف عملية “كسر القيود” (Jailbreak) بأنها محاولة لدفع النموذج إلى انتهاك قواعد السلامة أو تجاوز حدود السلوك المحددة له من خلال المدخلات المقدمة إليه. وفي حالة روبوت المحادثة هذا، تنشأ المحاولة من مدخلات المستخدم وتستهدف سلوك السلامة الخاص بالنموذج.
قد يتمثل الخطر المباشر في الحصول على رد غير آمن، إلا أن الخطر الأكبر يظهر عندما يؤثر هذا الرد على مكون آخر في النظام. فإذا كان بإمكان النموذج استدعاء دالة مثل lookup_order (للبحث عن طلب)، فقد تؤدي المخرجات المعدلة (الخبيثة) إلى طلب بيانات تقع خارج نطاق حساب المستخدم. أما إذا كان النموذج يكتفي بإنتاج النصوص بينما يتولى التطبيق التحقق من كل إجراء برمجياً، فإن تأثير السلوك الخاطئ نفسه يكون أقل حدة. ولذلك، فإننا نتتبع كلاً من نقاط دخول المحتوى غير الموثوق به والوجهات التي يسمح التطبيق المحيط بمخرجات النموذج الوصول إليها. لنلقِ نظرة على حدود الثقة في مسار محادثة الدعم هذا:
تُظهر آلية عمل روبوتات المحادثة (chatbot pipeline) أن “كسر القيود” يُعد جزءاً من مشكلة أوسع تتعلق بالمدخلات. تحدث هجمة حقن الأوامر (Prompt Injection) عندما يُغيّر محتوىً ما سلوك النموذج بطريقة لم يقصدها مطور التطبيق؛ إذ تعالج نماذج اللغة الحالية تعليمات النظام، ورسائل المستخدم، والمقاطع المسترجعة، ونتائج الأدوات ضمن سياق مشترك للرموز (tokens). ورغم أن التصنيفات (مثل USER_DATA) قد توضح الغرض، إلا أنها لا تُنشئ حدوداً أمنية صارمة أو مفروضة تقنياً.
تُعد عملية “كسر القيود” (Jailbreaking) فئة فرعية من هجمات الحقن المباشر للأوامر، وتهدف إلى تجاوز بروتوكولات الأمان الخاصة بالنموذج. يأتي الحقن المباشر عبر رسالة المستخدم، مثل طلب يتعارض مع دور الدعم الفني، بينما يأتي الحقن غير المباشر عبر محتوى يقرؤه النموذج، مثل مقال مساعدة مسترجع يحتوي على جملة صيغت كأمر أو تعليمات. وفي كلتا الحالتين، يكون الهدف هو تغيير سلوك النموذج، ويحدد مصدر وصول الهجمة المكان الذي يجب تطبيق الضوابط الأمنية فيه.
تُصنّف منظمة OWASP هذه الفئة تحت مسمى LLM01:2026 Prompt Injection. وهي تميّز بين هذا الخلل المتعلق بالمدخلات وبين “الكشف عن معلومات حساسة” (الذي يتعلق بما يخرج في المخرجات)، و"الصلاحيات المفرطة" (التي تتعلق بعواقب وصول المخرجات إلى إجراءات ذات صلاحيات عالية). بالنسبة لروبوت المحادثة الخاص بنا: تُعد رسالة المستخدم التي تغير الاستجابة حقناً مباشراً، ويُعد المقال المسترجع “الملغّم” (أو المحقون بمحتوى خبيث) حقناً غير مباشر، كما تُعد المحاولة المباشرة لتعطيل سلوكيات الأمان “كسراً للقيود”. قارن أدناه بين المصدر والهدف وخيارات الاحتواء: