नॉर्थब्रिज हेल्थ, जो 1,200 कर्मचारियों वाला एक अमेरिकी हेल्थ ऑर्गनाइज़ेशन है, अपने मरीज़ पोर्टल के लिए ‘केयरगाइड’ (CareGuide) तैयार कर रहा है। केयरगाइड एक लार्ज लैंग्वेज मॉडल (LLM) का इस्तेमाल करता है, जो यूज़र की रिक्वेस्ट के आधार पर टेक्स्ट बनाता है। लॉन्च से पहले, टीम के सामने एक व्यावहारिक फ़ैसला लेने की चुनौती है। क्या उपयोगी लगने वाली चैट केयरगाइड को मरीज़ों के लिए तैयार बनाती है, जबकि इससे मरीज़ की जानकारी लीक हो सकती है या असुरक्षित हेल्थ सलाह मिल सकती है?
सुरक्षा मूल्यांकन इस बात के सबूत इकट्ठा करता है कि LLM एप्लीकेशन उन स्थितियों में कैसा व्यवहार करता है जिनसे नुकसान हो सकता है। यह क्वालिटी मूल्यांकन से अलग है, जिसमें यह देखा जाता है कि जवाब कितने अच्छे, काम के या मददगार हैं। सुरक्षा से जुड़े सबूत लॉन्च करने, रोकने, दोबारा डिज़ाइन करने और निगरानी से जुड़े फ़ैसलों में मदद करते हैं। इससे टीम को यह रिकॉर्ड भी मिलता है कि क्या टेस्ट किया गया, क्या फ़ेल हुआ और क्या अभी भी अनिश्चित है। आइए केयरगाइड से जुड़ी मरीज़ों की जानकारी, संभावित नुकसान और इसे लागू करने के फ़ैसले पर नज़र डालते हैं।
तीन गतिविधियाँ अलग-अलग तरह के सबूत देती हैं। सेफ़्टी टेस्टिंग यह जाँचती है कि क्या CareGuide ज्ञात जोखिमों के लिए तय उम्मीदों पर खरा उतरता है। रेड टीमिंग जानबूझकर ऐसे अनपेक्षित तरीकों को खोजती है जिनसे कोई व्यक्ति असुरक्षित व्यवहार कर सकता है, जैसे कि किसी प्रतिबंध को दरकिनार करना। बेंचमार्किंग एक सिस्टम को एक जैसे सार्वजनिक या आंतरिक टेस्ट सेट के आधार पर मापती है, जिससे अलग-अलग वर्शन या सिस्टम के बीच तुलना की जा सकती है। इनमें से कोई भी अकेले पूरा जवाब नहीं देता।
मरीजों के लिए बने चैटबॉट के मामले में, एक ही दिखने वाली खराबी के लिए तीनों दृष्टिकोणों की ज़रूरत पड़ सकती है। टेस्टिंग से अपेक्षित व्यवहार की जाँच होती है, रेड टीमिंग से कमज़ोरियों का पता चलता है, और बेंचमार्किंग से तुलना करने का एक ऐसा आधार मिलता है जिसे दोहराया जा सके। सार्वजनिक बेंचमार्क के नतीजे सवालों के लिए जानकारी तो देते हैं, लेकिन वे यह साबित नहीं कर सकते कि CareGuide अपने पेशेंट पोर्टल के संदर्भ में सुरक्षित है। इस बात पर विचार करें कि ये तीनों गतिविधियाँ CareGuide की इन खराबियों को किस तरह से देखती हैं।