امریکہ کی ایک طبی تنظیم ‘نارتھ برج ہیلتھ’ (Northbridge Health)، جس کے 1,200 ملازمین ہیں، اپنے مریضوں کے پورٹل کے لیے ‘کیئر گائیڈ’ (CareGuide) تیار کر رہی ہے۔ کیئر گائیڈ ایک لارج لینگویج ماڈل (LLM) استعمال کرتی ہے؛ یہ ایک ایسا نظام ہے جو صارف کی درخواست پر متن (text) تخلیق کرتا ہے۔ لانچ سے قبل، ٹیم کو ایک عملی فیصلے کا سامنا ہے۔ کیا بظاہر مفید چیٹ کیئر گائیڈ کو مریضوں کے لیے استعمال کے قابل بناتی ہے، جبکہ اس بات کا امکان ہو کہ یہ مریض کی معلومات ظاہر کر دے یا صحت سے متعلق غیر محفوظ رہنمائی فراہم کرے؟
حفاظتی جانچ (Safety evaluation) اس بارے میں شواہد اکٹھے کرتی ہے کہ LLM ایپلی کیشن ایسے حالات میں کیسا ردعمل دیتی ہے جن سے نقصان کا اندیشہ ہو۔ یہ ‘معیار کی جانچ’ (quality evaluation) سے مختلف ہے، جس میں یہ دیکھا جاتا ہے کہ آیا جوابات رواں، متعلقہ یا مفید ہیں۔ حفاظت سے متعلق شواہد لانچ کرنے، عمل روکنے، دوبارہ ڈیزائن کرنے اور نگرانی سے متعلق فیصلوں میں معاونت کرتے ہیں۔ یہ ٹیم کو اس بات کا ریکارڈ بھی فراہم کرتے ہیں کہ کن چیزوں کی جانچ کی گئی، کون سی چیزیں ناکام رہیں اور کن معاملات میں غیر یقینی صورتحال برقرار ہے۔ آئیے کیئر گائیڈ کے حوالے سے مریض کی معلومات، ممکنہ نقصانات اور اس کے نفاذ (deployment) کے فیصلے کا جائزہ لیتے ہیں۔
تینوں سرگرمیاں مختلف نوعیت کے شواہد فراہم کرتی ہیں۔ سیفٹی ٹیسٹنگ (حفاظتی جانچ) یہ دیکھتی ہے کہ آیا CareGuide معلوم خطرات کے حوالے سے طے شدہ توقعات پر پورا اترتا ہے یا نہیں۔ ریڈ ٹیمنگ (Red teaming) جان بوجھ کر ایسے غیر متوقع طریقوں کی تلاش کرتی ہے جن کے ذریعے کوئی شخص غیر محفوظ رویے کا باعث بن سکتا ہے، مثلاً کسی پابندی کو نظر انداز کرنا یا اس سے بچ نکلنا۔ بینچ مارکنگ کسی سسٹم کا موازنہ ایک مستقل عوامی یا اندرونی ٹیسٹ سیٹ کے ساتھ کرتی ہے، جس سے مختلف ورژنز یا سسٹمز کے درمیان موازنہ ممکن ہوتا ہے۔ ان میں سے کوئی بھی اکیلے مکمل جواب فراہم نہیں کرتا۔
مریضوں کے لیے بنائے گئے چیٹ بوٹ (patient chatbot) کی صورت میں، ایک ہی نمایاں خرابی یا ناکامی کو سمجھنے کے لیے تینوں نقطہ نظر کی ضرورت پڑ سکتی ہے۔ ٹیسٹنگ مطلوبہ رویے کی جانچ کرتی ہے، ریڈ ٹیمنگ کمزوریوں کا پتہ لگاتی ہے، اور بینچ مارکنگ موازنے کے لیے ایک ایسا معیار فراہم کرتی ہے جسے دہرایا جا سکے۔ بینچ مارک کے عوامی نتائج اہم سوالات کی بنیاد تو بن سکتے ہیں، لیکن وہ اس بات کا ثبوت نہیں دے سکتے کہ CareGuide مریضوں کے پورٹل کے سیاق و سباق میں محفوظ ہے۔ اس بات پر غور کریں کہ یہ تینوں سرگرمیاں CareGuide کی ان ناکامیوں کو کس تناظر میں پیش کرتی ہیں۔