लॉन्च से दो दिन पहले एक रिस्क टीम को हेल्थकेयर मेंबर सपोर्ट चैटबॉट सौंपा जाता है। एक आखिरी टेस्ट में, बॉट एक मेंबर को प्रिस्क्रिप्शन दवा के लिए स्टेप-बाय-स्टेप डोज़िंग सलाह देता है, जबकि प्रोडक्ट की ज़रूरत यह कहती है कि उसे मेडिकल सलाह देने से मना करना चाहिए और मेंबर को नर्स लाइन पर भेजना चाहिए। रिस्क रेटिंग के लिए ज़रूरी पहले सवाल का जवाब कोई नहीं दे पाता: सिस्टम में किस जगह इस व्यवहार को रोका, पता लगाया या कंट्रोल किया जा सकता था।
इस लेसन का बाकी हिस्सा नुकसानदायक आउटपुट के लिए एक थ्रेट मॉडल बनाता है। इसके लिए इंसिडेंट चेन को शुरू से आखिर तक देखा जाता है और फिर उस चेन को ऐसे ठोस कंट्रोल पॉइंट्स में बदला जाता है जिन्हें आप माप और कंट्रोल कर सकें।
इस कोर्स में, थ्रेट मॉडल एक स्ट्रक्चर्ड जानकारी है कि आपके LLM एप्लीकेशन में कोई खास नुकसान कैसे हो सकता है, कौन से कंपोनेंट इसमें शामिल होते हैं, कौन सी शर्तें पूरी होनी चाहिए, और उस रास्ते की पुष्टि या खंडन करने के लिए आप क्या सबूत इकट्ठा कर सकते हैं। नुकसानदायक आउटपुट के लिए, इसका मतलब है कि हम आउटपुट को फेलियर स्टेट मानते हैं और प्रॉम्प्ट, रिट्रीवल, जनरेशन, मॉडरेशन और डिलीवरी के ज़रिए पीछे की ओर जाते हैं, जब तक कि हमें चेन में कंट्रोल करने लायक कमियां न मिल जाएं।
सिमुलेटेड — इंसिडेंट की कहानी का अंश:
एक मेंबर चैटबॉट से पूछता है कि क्या वह छूटे हुए दिन की भरपाई के लिए अपनी डोज़ दोगुनी कर सकता है। चैटबॉट एक सामान्य दवा FAQ और एक कम्युनिटी फ़ोरम का स्निपेट निकालता है जिसमें अनौपचारिक डोज़िंग चर्चा शामिल है। मॉडल कंडीशनल डोज़िंग गाइडेंस और चेतावनी के साथ जवाब देता है, और UI इसे बिना किसी अतिरिक्त गेट के दिखाता है। कोई मनाही वाला मैसेज ट्रिगर नहीं होता, और कोई इंसानी रिव्यू नहीं होता।
मुख्य कदम यह है कि जो गलत हुआ उसे देखे जा सकने वाले सिस्टम इवेंट्स में अलग-अलग किया जाए। यूज़र की रिक्वेस्ट आई, रिट्रीवल ने स्वीकार्य और असुरक्षित संदर्भ का मिश्रण दिया, मॉडल ने रेगुलेटेड सलाह दी, मॉडरेशन स्टेप ने इसे ब्लॉक या रूट नहीं किया, और डिलीवरी चैनल ने इसे सामान्य मदद सामग्री के रूप में पेश किया। हमें थ्रेट मॉडल की ज़रूरत है क्योंकि हर हॉप (चरण) की टेलीमेट्री और कंट्रोल लिमिट अलग-अलग होती हैं।
हम सिस्टम डायग्राम में उस चेन को ठोस बना सकते हैं। जब आप इसकी समीक्षा करते हैं, तो इस बात पर ध्यान दें कि किस कंपोनेंट ने छिपे हुए रिस्क को असल में डिलीवर किए गए रिस्पॉन्स में बदल दिया। अब आर्किटेक्चर पर फेलियर पॉइंट्स को मैप करें:
कंट्रोल पॉइंट रिक्वेस्ट से रिस्पॉन्स के रास्ते में एक ऐसी जगह है जहाँ आप इनपुट, पॉलिसी और लागू करने वाली कार्रवाई का इस्तेमाल करके सुरक्षा से जुड़ा कोई फ़ैसला ले सकते हैं। नुकसानदायक आउटपुट के लिए, कंट्रोल पॉइंट्स को प्री-जेनरेशन, जेनरेशन के दौरान और पोस्ट-जेनरेशन में बांटना फ़ायदेमंद होता है, क्योंकि हर ग्रुप अलग-अलग गारंटी और अलग-अलग फ़ॉल्स पॉज़िटिव लागत देता है।
प्री-जेनरेशन कंट्रोल यह तय करते हैं कि मॉडल क्या देखता है। इनमें यूज़र इनपुट फ़िल्टरिंग, रिट्रीवल की सीमाएँ और प्रॉम्प्ट टेम्प्लेट शामिल हैं। ये नुकसानदायक आउटपुट की संभावना को कम कर सकते हैं, लेकिन सुरक्षा की गारंटी नहीं दे सकते क्योंकि सुरक्षित दिखने वाले इनपुट से असुरक्षित जवाब मिल सकते हैं, और रिट्रीवल से ऐसा बॉर्डरलाइन टेक्स्ट भी सामने आ सकता है जो संदर्भ के हिसाब से खतरनाक हो।
जेनरेशन के दौरान कंट्रोल यह तय करते हैं कि मॉडल को क्या बनाने की अनुमति है। यहाँ आप सिस्टम निर्देश, एजेंट के लिए टूल पॉलिसी और मॉडल-साइड सुरक्षा सुविधाओं (अगर उपलब्ध हों) का इस्तेमाल करते हैं। ये व्यवहार को सीमित कर सकते हैं, लेकिन ये अभी भी इस बात पर निर्भर करते हैं कि मॉडल मुश्किल या अस्पष्ट इनपुट के तहत निर्देशों का पालन करता है या नहीं, और व्यवस्थित टेस्टिंग के बिना इनकी पुष्टि करना मुश्किल होता है।
पोस्ट-जेनरेशन कंट्रोल यह तय करते हैं कि क्या डिलीवर किया जाएगा और क्या रूट किया जाएगा। इसमें आउटपुट मॉडरेशन क्लासिफ़ायर, ज़्यादा जोखिम वाले विषयों के लिए अनुमति और मनाही वाली लिस्ट, और इंसानी समीक्षा कतारें शामिल हैं। अक्सर यही वह जगह है जहाँ आप गारंटी दे सकते हैं कि प्रतिबंधित टेक्स्ट यूज़र तक नहीं पहुँचेगा, लेकिन इनसे देरी हो सकती है, यूज़र अनुभव में असंगतता आ सकती है, और सबूत की ज़रूरत पड़ने पर इनके काम करने को साबित करने के लिए व्यवस्थित लॉगिंग की ज़रूरत पड़ सकती है।
गारंटी के लिए लागू करने की ज़रूरत होती हैपॉलिसी स्टेटमेंट कोई कंट्रोल नहीं है। कंट्रोल पॉइंट तभी मौजूद होता है जब कोई लागू करने योग्य फ़ैसला और ऑडिट ट्रेल हो जिसकी आप समीक्षा कर सकें।
एक आम गलतफ़हमी यह है कि नुकसानदायक आउटपुट का जोखिम सिर्फ़ मॉडल की क्वालिटी का मुद्दा है। असल में, मॉडल एक डिस्ट्रिब्यूटेड सिस्टम का एक हिस्सा है। वही बेस मॉडल सख्त पोस्ट-जेनरेशन रूटिंग वाले नर्स लाइन ट्राइएज वर्कफ़्लो में स्वीकार्य हो सकता है और बिना गेटिंग वाले सेल्फ-सर्व चैट UI में अस्वीकार्य हो सकता है, क्योंकि डिलीवरी का रास्ता असर और पता लगाने की क्षमता को बदल देता है।
कंट्रोल पॉइंट्स को चालू करने के लिए, हम सबूत जोड़ते हैं। हर पॉइंट के लिए, हमें यह बताने में सक्षम होना चाहिए कि कौन सा सिग्नल लॉग किया गया है, वह कहाँ स्टोर किया गया है, और उसकी समीक्षा कैसे की जाती है। उन इंटरवेंशन पॉइंट्स और लॉग्स को देखें जिनकी आप उम्मीद करते हैं: