يتلقى فريق إدارة المخاطر روبوت محادثة جديداً مخصصاً لدعم المشتركين في خدمات الرعاية الصحية قبل يومين فقط من موعد إطلاقه. وفي اختبار أُجري في مرحلة متأخرة، قدم الروبوت للمشترك نصيحة تفصيلية (خطوة بخطوة) حول جرعة دواء يُصرف بوصفة طبية، وذلك على الرغم من أن متطلبات المنتج تنص صراحةً على ضرورة رفض تقديم المشورة الطبية وتوجيه المشترك إلى خط المساعدة التمريضية. لم يتمكن أحد من الإجابة على السؤال الأول الضروري لتقييم المخاطر، وهو: في أي جزء من النظام كان من الممكن منع هذا السلوك أو اكتشافه أو احتواؤه؟
يتناول الجزء المتبقي من هذا الدرس بناء نموذج للتهديدات المتعلقة بالمخرجات الضارة، وذلك من خلال تتبع سلسلة الأحداث (من البداية إلى النهاية) ثم تحويل هذه السلسلة إلى نقاط تحكم ملموسة يمكن قياسها وإدارتها.
في هذه الدورة التدريبية، يُعرَّف نموذج التهديدات بأنه وصف منظم لكيفية حدوث ضرر معين في تطبيقك القائم على النماذج اللغوية الكبيرة (LLM)، مع تحديد المكونات المشاركة، والشروط الواجب توفرها، والأدلة التي يمكن جمعها لتأكيد هذا المسار أو نفيه. وفيما يتعلق بالمخرجات الضارة، فإن هذا يعني أننا نتعامل مع المخرج الضار باعتباره “حالة فشل”، ثم نتتبع المسار عكسياً عبر مراحل: صياغة المطالبة (prompt)، والاسترجاع (retrieval)، والتوليد (generation)، والإشراف/الرقابة (moderation)، والتسليم (delivery)، حتى نحدد نقاط الخلل في السلسلة التي يمكن التحكم فيها.
سيناريو محاكاة - مقتطف من وصف الحادثة:
يسأل أحد المشتركين روبوت المحادثة عما إذا كان بإمكانه مضاعفة الجرعة لتعويض جرعة فائتة في اليوم السابق. يسترجع الروبوت معلومات عامة من الأسئلة الشائعة حول الدواء ومقتطفاً من منتدى مجتمعي يتضمن نقاشاً غير رسمي حول الجرعات. يرد النموذج بتقديم إرشادات مشروطة بشأن الجرعة مع تحذير، وتعرض واجهة المستخدم (UI) هذا الرد دون أي حاجز إضافي؛ إذ لم يتم تفعيل أي رسالة رفض ولم تتم أي مراجعة بشرية.
تكمن الخطوة الجوهرية في تفكيك الخلل الذي حدث إلى أحداث نظام قابلة للملاحظة: وصول طلب المستخدم، واسترجاع النظام لمزيج من المعلومات المقبولة وغير الآمنة، وتوليد النموذج لنصيحة طبية، وفشل مرحلة الإشراف في حظر الطلب أو إعادة توجيهه، وعرض قناة التسليم للمحتوى باعتباره معلومات مساعدة عادية. نحن بحاجة إلى نموذج للتهديدات لأن كل مرحلة (أو “قفزة” في المسار) تتضمن بيانات تشغيلية (telemetry) وحدود تحكم مختلفة.
يمكننا تجسيد هذه السلسلة بشكل ملموس في مخطط النظام. وأثناء مراجعتك للمخطط، ركّز على تحديد المكون الذي حوّل خطراً كامناً إلى استجابة فعلية تم تسليمها للمستخدم. والآن، قم بتحديد نقاط الفشل هذه على بنية النظام:
تُعد نقطة التحكم (Control point) موقعاً في المسار الممتد من الطلب إلى الاستجابة، حيث يمكنك تطبيق قرار يتعلق بالأمن أو السلامة باستخدام المدخلات، والسياسة، وإجراءات الإنفاذ. وفيما يتعلق بالمخرجات الضارة، من المفيد تصنيف نقاط التحكم إلى: ما قبل التوليد، وأثناء التوليد، وما بعد التوليد؛ نظراً لأن كل مجموعة توفر ضمانات مختلفة وتترتب عليها تكاليف متفاوتة فيما يخص النتائج الإيجابية الخاطئة (false positives).
تُشكّل ضوابط ما قبل التوليد ما يراه النموذج؛ وتشمل تصفية مدخلات المستخدم، وقيود الاسترجاع، وقوالب المطالبات (prompts). ورغم قدرتها على تقليل احتمالية ظهور مخرجات ضارة، إلا أنها لا تضمن السلامة بشكل مطلق؛ إذ قد تؤدي المدخلات التي تبدو آمنة إلى استكمال نصي غير آمن، كما قد تُظهر عمليات الاسترجاع نصوصاً تقع في منطقة رمادية وتُعد خطيرة من حيث السياق.
تُحدد ضوابط أثناء التوليد ما يُسمح للنموذج بإنتاجه. وهنا يتم استخدام تعليمات النظام، وسياسات الأدوات المخصصة للوكلاء (agents)، وميزات السلامة المدمجة في النموذج (إن وُجدت). ورغم قدرة هذه الضوابط على حصر السلوكيات، إلا أنها تظل معتمدة على التزام النموذج بالتعليمات عند التعامل مع مدخلات عدائية أو غامضة، كما يصعب التحقق من فعاليتها دون إجراء اختبارات منهجية.
تحدد ضوابط ما بعد التوليد ما يتم تسليمه للمستخدم وما يتم توجيهه لمسارات أخرى. وتشمل هذه الضوابط مصنفات الإشراف على المخرجات، وقوائم السماح والحظر للمواضيع عالية المخاطر، وقوائم انتظار المراجعة البشرية. وغالباً ما تكون هذه الضوابط هي المكان الوحيد الذي يضمن عدم وصول النصوص المحظورة إلى المستخدم، لكنها قد تزيد من زمن الاستجابة (latency)، وتؤدي إلى تفاوت في تجربة المستخدم، كما تتطلب نظاماً دقيقاً لتسجيل البيانات لإثبات فعاليتها عند الحاجة إلى أدلة.
الضمانات تتطلب الإنفاذلا تُعد صياغة السياسة بحد ذاتها إجراءً تحكمياً؛ إذ لا تتحقق نقطة التحكم إلا بوجود قرار قابل للإنفاذ وسجل تدقيق (audit trail) يمكن مراجعته.
من المفاهيم الخاطئة الشائعة الاعتقاد بأن مخاطر المخرجات الضارة تتعلق فقط بجودة النموذج. ولكن من الناحية العملية، يُعد النموذج مجرد مكون واحد ضمن نظام موزع؛ فقد يكون النموذج الأساسي نفسه مقبولاً في سير عمل فرز الحالات الطبية (مثل خط استشارة التمريض) الذي يتضمن توجيهاً صارماً للمخرجات، بينما يكون غير مقبول في واجهة دردشة ذاتية الخدمة تفتقر إلى آليات الفحص والتحكم، وذلك لأن مسار التسليم يغير طبيعة التأثير وإمكانية رصد المشكلات.
لجعل نقاط التحكم قابلة للتطبيق العملي، نقوم بإرفاق الأدلة؛ إذ يجب أن نكون قادرين -لكل نقطة- على تحديد الإشارة التي يتم تسجيلها، ومكان تخزينها، وآلية مراجعتها. فيما يلي استعراض لنقاط التدخل وسجلات البيانات المتوقع رؤيتها: