يتواصل مسؤول فريق الدعم في شركة تكنولوجيا مالية (تضم 2000 موظف) مع فريق الأمن؛ فقد قام “روبوت المحادثة” الخاص بخدمة العملاء بإرشاد أحد المستخدمين حول كيفية تجاوز عملية التحقق من الهوية، ويُظهر سجل المحادثة أن الروبوت يستشهد بسياسة داخلية بثقة تامة. يبدو السؤال بسيطاً في ظاهره، لكنه يحمل تعقيداً خفياً: هل نحن بصدد خطأ عادي في النموذج، أم هجوم حقن الأوامر (Prompt Injection)، أم تسريب بيانات، أم اختراق لمكون برمجي معتمد (dependency)؟ إذا لم نتمكن من تصنيف الحادثة بسرعة، فلن نستطيع اختيار إجراء الاحتواء المناسب، أو تحديد الأدلة التي يجب حفظها، أو الفريق الذي يجب استدعاؤه للتعامل مع الموقف.
في هذه الدورة، نعتمد قائمة OWASP لأهم 10 مخاطر في تطبيقات النماذج اللغوية الكبيرة (LLM) لعام 2026 كمرجع مشترك لعمليات التصنيف الأولي (Triage)، ونمذجة التهديدات، والاختبار، والمراقبة. يُقصد بـ التصنيف الأولي (Triage) اتخاذ قرار سريع ومسؤول بشأن طبيعة الخلل الحاصل، ونطاق تأثيره المحتمل، والخطوات التالية الواجب اتخاذها في ظل تغير المعطيات باستمرار. يتمثل الهدف من الدرس الأول في التدرب على تسمية وتوصيف الأعراض الملاحظة في بيئة التشغيل الفعلية، وذلك باستخدام فئات تصنيف تظل ثابتة وموحدة بين مختلف الفرق وعبر فترات زمنية مختلفة.
عندما تسلك ميزة تعتمد على نموذج لغوي كبير (LLM) سلوكاً غير متوقع، غالباً ما تدخل الفرق في نقاشات حول النوايا والصياغة اللغوية. وبدلاً من ذلك، سنركز في تحليلنا على الأعراض الملموسة والقابلة للملاحظة: ما هي مصادر المدخلات التي غذت النموذج؟ وما هي المخرجات التي تم إنتاجها؟ وما هي الآثار الخارجية التي ترتبت على ذلك؟ عادةً ما تشير هذه المؤشرات إلى فئة أو فئتين من فئات OWASP حتى قبل تحديد السبب الجذري للمشكلة. سنقوم الآن بإجراء تصنيف أولي لحادثة محاكاة وتحديد الفئة الرئيسية، بالإضافة إلى أي فئات ثانوية قريبة تستحق المتابعة بالتوازي:
لإجراء تصنيف دقيق، نحتاج إلى نموذج ذهني مشترك لكيفية تجميع تطبيق النماذج اللغوية الكبيرة (LLM) لطلب واحد. يُقصد بـ نافذة السياق (Context window) مجموعة الرموز (tokens) التي يراها النموذج لإنتاج استجابة واحدة؛ وغالباً ما تتضمن هذه النافذة نص المستخدم المباشر، ومقتطفات مسترجعة من قاعدة المعرفة، ومخرجات الأدوات، وتعليمات خفية مثل “مطالبة النظام” (system prompt). وعندما يدخل محتوى غير موثوق إلى نافذة السياق هذه، فإنه قد يوجه سلوك النموذج، أو يؤدي إلى كشف البيانات، أو يتسبب في إجراءات لاحقة غير آمنة. وفي العرض التالي، سنستعرض مواضع دخول المحتوى غير الموثوق المحتملة وكيف أدى ذلك إلى تجاوز السياسة المرصود:
لا تعتمد على التخمين بناءً على التصنيفقد يرتبط عرض واحد (أو مؤشر خلل) بعدة فئات. تعامل مع التصنيفات الأولية كفرضيات عمل، واحتفظ بالأدلة قبل إجراء أي تحسينات.
تُعد قائمة OWASP Top 10 for LLM Applications 2026 (أهم 10 مخاطر لتطبيقات النماذج اللغوية الكبيرة لعام 2026) مجموعة مصنفة لأكثر المخاطر حرجاً التي تواجه التطبيقات التي تستخدم النماذج اللغوية الكبيرة (LLMs). وقد وُضعت هذه القائمة لتمكين فرق الأمن والهندسة والحوكمة من مناقشة أنماط الفشل نفسها باستخدام مسميات موحدة، ولضمان أن تغطي خطط الاختبار نطاق المخاطر بالكامل بدلاً من الاقتصار على معالجة آخر حادثة وقعت فقط. ترتبط هذه الدورة التدريبية بجميع الفئات العشر المذكورة، وسنتناولها بشكل مباشر من خلال الدروس والتمارين العملية، بدلاً من الاكتفاء بالإشارة إليها كمجرد ملحق مرجعي. إليك القائمة الكاملة التي سنعتمد عليها طوال فترة الدورة: