تعمل مؤسسة “نورثبريدج هيلث” (Northbridge Health) -وهي مؤسسة صحية أمريكية تضم 1200 موظف- على إعداد أداة “CareGuide” المخصصة لبوابة المرضى الخاصة بها. تعتمد “CareGuide” على نموذج لغوي كبير (LLM)، وهو نظام يولد نصوصاً استجابةً لطلبات المستخدمين. وقبل الإطلاق، يواجه فريق العمل قراراً عملياً: هل تجعل المحادثات التي تبدو مفيدة أداة “CareGuide” جاهزة للاستخدام من قبل المرضى، في حين أنها قد تؤدي إلى كشف معلومات المرضى أو تقديم إرشادات صحية غير آمنة؟
تُعنى عملية تقييم السلامة بجمع الأدلة حول سلوك تطبيق النموذج اللغوي الكبير في المواقف التي قد تنطوي على مخاطر أو تسبب ضرراً. وتختلف هذه العملية عن تقييم الجودة، الذي يركز على مدى سلاسة الإجابات أو ملاءمتها أو فائدتها. وتدعم أدلة السلامة اتخاذ القرارات المتعلقة بالإطلاق، أو التعليق المؤقت، أو إعادة التصميم، أو الرقابة والإشراف. كما توفر للفريق سجلاً يوضح ما تم اختباره، وما فشل في الاختبار، والجوانب التي لا تزال غير مؤكدة. دعونا نتتبع مسار معلومات المرضى، والمخاطر المحتملة، وقرار النشر والتشغيل المتعلق بأداة “CareGuide”.
تقدم الأنشطة الثلاثة أدلة مختلفة؛ إذ يتحقق اختبار السلامة (Safety testing) مما إذا كان نظام CareGuide يلبي التوقعات المحددة بشأن المخاطر المعروفة. بينما يبحث فريق “الفريق الأحمر” (Red teaming) -بشكل متعمد- عن طرق غير متوقعة قد تؤدي إلى سلوك غير آمن، مثل تجاوز أحد القيود. أما القياس المرجعي (Benchmarking) فيقيس أداء النظام مقابل مجموعة اختبارات ثابتة (سواء كانت عامة أو داخلية)، مما يتيح إجراء مقارنات بين الإصدارات أو الأنظمة المختلفة. ولا يقدم أي من هذه الأنشطة إجابة شاملة بمفرده.
في حالة استخدام روبوت محادثة مخصص للمرضى، قد يتطلب التعامل مع نفس الخلل الظاهر الاستعانة بالمنظورات الثلاثة معاً؛ فالاختبار يتحقق من السلوك المقصود، و"الفريق الأحمر" يستكشف نقاط الضعف، بينما يوفر القياس المرجعي نقطة مقارنة قابلة للتكرار. ورغم أن نتائج القياسات المرجعية العامة تساعد في صياغة الأسئلة، إلا أنها لا تكفي لإثبات سلامة نظام CareGuide في سياق استخدامه عبر بوابة المرضى. لذا، ينبغي النظر في كيفية تأطير هذه الأنشطة الثلاثة لإخفاقات نظام CareGuide.