हमारा मौजूदा वर्कलोड कर्मचारियों के लिए एक नियंत्रित एंटरप्राइज़ असिस्टेंट है। यह इंटरनल डॉक्यूमेंट्स का इस्तेमाल करके सवालों के जवाब देता है और तथ्यों वाले जवाबों के लिए सोर्स का ज़िक्र करना ज़रूरी है। इसे एक्सेस कंट्रोल भी लागू करना होगा ताकि यूज़र सिर्फ़ वही डॉक्यूमेंट्स देख सकें जिन्हें देखने की उन्हें इजाज़त है।
इस वर्कलोड से दो अलग-अलग जोखिम पैदा होते हैं जो प्लेटफ़ॉर्म चुनने में अहम भूमिका निभाते हैं। एक जोखिम मॉडल के व्यवहार से जुड़ा है, जिसमें असुरक्षित आउटपुट, प्रॉम्प्ट इंजेक्शन और गलत या मनगढ़ंत दावे शामिल हैं। दूसरा जोखिम डेटा बाउंड्री से जुड़ा है, जिसमें जानकारी निकालने या लॉगिंग के दौरान संवेदनशील कंटेंट का गलती से ज़ाहिर हो जाना शामिल है। हम इन जोखिमों को अलग-अलग रखेंगे क्योंकि इनके लिए अलग-अलग कंट्रोल और सबूतों की ज़रूरत होती है।
आइए, उन ट्रस्ट बाउंड्रीज़ और डेटा पाथ को समझते हैं जिन्हें नियंत्रित करने की ज़रूरत है।
यह लेसन Amazon Web Services (AWS) के साथ एक नियंत्रित एंटरप्राइज़ असिस्टेंट देने के लिए निर्णय लेने का फ़्रेमवर्क तैयार करता है। हम सफलता के मेट्रिक्स और डेटा की अनुमत सीमा से शुरुआत करते हुए, retrieval-augmented generation (RAG), fine-tuning और अलग-अलग inference विकल्पों के बीच चुनाव करेंगे। हम सुरक्षा, लेटेंसी और लागत को मुख्य स्वीकार्यता मानदंड मानेंगे, न कि बाद में सोची जाने वाली बातें।
Amazon Bedrock एक पूरी तरह से मैनेज्ड, सर्वरलेस सर्विस है जो जेनरेटिव AI एप्लिकेशन और एजेंट के लिए फ़ाउंडेशन मॉडल का API एक्सेस देती है। Bedrock सर्विंग इंफ्रास्ट्रक्चर को छिपाकर रखता है (abstracts), इसलिए इंस्टेंस चुनना और GPU ट्यूनिंग करना ग्राहक के नियंत्रण वाले निर्णय नहीं होते हैं। Bedrock में RAG, सुरक्षा नियंत्रण और एजेंट डेवलपमेंट के लिए मैनेज्ड सुविधाएँ भी शामिल हैं जो एप्लिकेशन लेयर पर काम करती हैं।
Amazon SageMaker AI एक मैनेज्ड मशीन लर्निंग प्लेटफ़ॉर्म है जो ज़्यादा इंफ्रास्ट्रक्चर और वर्कफ़्लो नियंत्रण के साथ मॉडल बनाने, उन्हें ट्रेन करने, कस्टमाइज़ करने और डिप्लॉय करने के लिए है। SageMaker AI inference इंस्टेंस प्रकार और सर्विंग फ़्रेमवर्क चुनकर ओपन, प्रोप्राइटरी या कस्टम मॉडल को होस्ट कर सकता है। इससे क्षमता की योजना बनाने, डिप्लॉयमेंट कॉन्फ़िगरेशन और परफ़ॉर्मेंस व लागत के बीच संतुलन बनाने की ज़्यादा ज़िम्मेदारी हम पर आ जाती है।
ज़िम्मेदारियों को अलग करने का एक व्यावहारिक तरीका यह पूछना है कि हम किस चीज़ का मालिकाना हक चाहते हैं। Bedrock को टोकन-आधारित मीटरिंग के साथ मैनेज्ड API के पीछे मॉडल की क्षमता का उपयोग करने के लिए ऑप्टिमाइज़ किया गया है। SageMaker AI को मॉडल डिप्लॉयमेंट सरफेस (जिसमें कंटेनर, इंस्टेंस फ़ैमिली और प्रति इंस्टेंस-घंटे की लागत शामिल है) का मालिकाना हक रखने के लिए ऑप्टिमाइज़ किया गया है। मालिकाना हक का यह चुनाव आमतौर पर बाद में होने वाली RAG बनाम fine-tuning की चर्चा पर हावी रहता है।
हम चार चरणों का पालन करके इस चुनाव को दोहराने योग्य बना सकते हैं। सबसे पहले, उस नतीजे और मूल्यांकन के तरीके को तय करें जिससे यह पता चलेगा कि असिस्टेंट स्वीकार्य है या नहीं। दूसरा, डेटा की उस सीमा को तय करें जिस पर नियंत्रण रखना है, जिसमें यह भी शामिल है कि मॉडल प्रोवाइडर को क्या कभी नहीं भेजा जाना चाहिए। तीसरा, ऐसे सबूत तय करें जिन्हें प्रोडक्शन के दौरान इकट्ठा किया जा सके और जो साबित करें कि सिस्टम पॉलिसी के दायरे में काम कर रहा है। चौथा, जिस सीमा को हमें कंट्रोल करना है, उसके आधार पर Bedrock, SageMaker AI या दोनों में से किसी एक को चुनें।
आइए, ज़रूरतों से लेकर सही सर्विस चुनने तक की प्रक्रिया को समझते हैं।