आप BrightShield Credit Union के लिए PhishTriage-v1 का एक सुरक्षित पहला वर्शन तैयार करेंगे। एक सिक्योरिटी ऑर्केस्ट्रेशन, ऑटोमेशन और रिस्पॉन्स (SOAR) प्लेबुक अलर्ट डेटा, एनरिचमेंट, रूटिंग और मंज़ूर किए गए एक्शन को एक ऐसे वर्कफ़्लो में जोड़ती है जिसे बार-बार इस्तेमाल किया जा सके। एक लार्ज लैंग्वेज मॉडल (LLM) स्टेप तय टेक्स्ट को पढ़ता है और स्ट्रक्चर्ड सलाह वाला आउटपुट देता है, जैसे कि सारांश या सुझाए गए टैग। यह किसी इंजीनियर को प्लेबुक को आसानी से चलाने में मदद कर सकता है, बिना इसके कि उन्हें किसी घटना को रोकने (कंटेन करने) का अधिकार मिले।
BrightShield में, उपयोगी सीमा (बाउंड्री) साफ़ है। LLM फ़िशिंग अलर्ट को बेहतर जानकारी (एनरिच) दे सकता है, एक संक्षिप्त स्पष्टीकरण का ड्राफ़्ट बना सकता है और नोटिफ़िकेशन में मदद कर सकता है। एनालिस्ट ही अंतिम फ़ैसले के लिए ज़िम्मेदार होता है और उसे क्वारंटीन, ब्लॉकिंग या अकाउंट में बदलाव को मंज़ूरी देनी होती है।
प्लेबुक की शुरुआत इनबाउंड ईमेल अलर्ट से होती है और अंत रिकॉर्ड किए गए, रिव्यू किए जा सकने वाले एक्शन के साथ होता है। अविश्वसनीय ईमेल कंटेंट LLM एनरिचमेंट स्टेप तक तभी पहुँच सकता है जब वर्कफ़्लो उसके मंज़ूर दायरे से बाहर के डेटा को हटा दे। LLM एक तय JSON स्कीमा देता है जिसे प्लेबुक टिकट में लिखने से पहले वैलिडेट करती है। इसका क्वारंटीन कंट्रोल, ब्लॉक लिस्ट, क्रेडेंशियल या डाउनस्ट्रीम परमिशन तक कोई सीधा एक्सेस नहीं होता है।
यह डिज़ाइन LLM को फ़ैसला लेने वाले के बजाय एनरिचमेंट और क्लासिफ़िकेशन नोड के तौर पर देखता है। एनालिस्ट गेट सलाह वाले टेक्स्ट को ऐसे किसी भी एक्शन से अलग करता है जिससे किसी सदस्य, कर्मचारी या बिज़नेस प्रोसेस में रुकावट आ सकती है। आइए देखें कि PhishTriage-v1 में भरोसा कहाँ-कहाँ बदलता है:
ईमेल बॉडी, टिकट टेक्स्ट और निकाले गए हेडर ऐसे इनपुट हैं जिन्हें हमलावर कंट्रोल करते हैं। इनडायरेक्ट प्रॉम्प्ट इंजेक्शन एक ऐसा निर्देश है जो LLM द्वारा पढ़े जाने वाले कंटेंट में छिपा होता है; इसका मकसद LLM के व्यवहार को बदलना या डेटा को उजागर करना होता है। हैलुसिनेटेड इंडिकेटर एक मनगढ़ंत डोमेन, पता या सुरक्षा से जुड़ी अन्य जानकारी होती है, जिसका मूल रिकॉर्ड में कोई आधार नहीं होता। दोनों ही जोखिम महत्वपूर्ण हैं क्योंकि एक अच्छी तरह से तैयार किया गया सारांश काम का लग सकता है, जबकि वह असुरक्षित या बिना आधार वाला हो सकता है।
BrightShield, BeaconLLM को केवल आंतरिक सुरक्षा-घटना टेक्स्ट तक सीमित रखता है और इसके लिए ट्रेस करने योग्य सोर्स रिकॉर्ड ID की आवश्यकता होती है। वर्कफ़्लो में केवल उतना ही टेक्स्ट भेजा जाना चाहिए जितना जानकारी को बेहतर बनाने (एनरिचमेंट) के लिए ज़रूरी हो। जो मॉडल भरोसेमंद न होने वाला कंटेंट पढ़ता है, उसके पास कोई टूल, सीक्रेट या कंटेनमेंट परमिशन नहीं होनी चाहिए। आइए उन ऑपरेटिंग नियमों को देखें जो यह सीमा तय करते हैं: