आप एक नई ऑनबोर्डिंग स्क्रीन के फ़ीचर एक्सपेरिमेंट पर एनालिस्ट हैं। प्रोडक्ट लीड शुक्रवार तक ‘गो’ या ‘नो-गो’ (आगे बढ़ने या न बढ़ने) का फ़ैसला चाहते हैं। यह फ़ैसला 240,000 योग्य यूज़र्स पर 14 दिनों तक चले A/B टेस्ट पर आधारित होगा, जिसमें यूज़र्स को 50/50 के अनुपात में बांटा गया था। आपके पास experiment_events जैसी टेबल में इवेंट डेटा है, जिसमें हर यूज़र के लिए हर दिन की एक रो (row) है। इसमें user_id, date, variant और activated_7d जैसे नतीजे शामिल हैं।
AI यहाँ आपके काम की रफ़्तार बढ़ा सकता है, लेकिन आपके फ़ैसले की ज़िम्मेदारी उसी की नहीं होगी। अगर रोलआउट से रिटेंशन पर बुरा असर पड़ता है—जैसे कि किसी मेट्रिक की परिभाषा गलत थी, कोई सेगमेंट छूट गया था, या किसी धारणा का उल्लंघन हुआ था—तो बाद में होने वाली विफलता के लिए आप ही ज़िम्मेदार होंगे। AI को ऐसे टूल के तौर पर देखें जो संभावित समरी, कोड और चेकलिस्ट तैयार करता है, और जिन्हें आप डेटा और अपने एक्सपेरिमेंट डिज़ाइन के आधार पर वेरिफ़ाई करते हैं।
इस प्रोसेस के मुख्य हिस्सों को समझें।
LLM एक टेक्स्ट मॉडल है जो आपके इनपुट के आधार पर आगे की संभावित बातें बनाता है। एक्सपेरिमेंट के काम में, इसका मतलब है कि यह एनालिसिस प्लान बना सकता है, कोड लिख सकता है और नतीजों का सारांश दे सकता है, भले ही यह गलत हो, लेकिन यह ऐसे लगता है जैसे यह पूरी तरह सही हो। प्रॉम्प्ट वह निर्देश और संदर्भ है जो आप मॉडल को देते हैं। अगर आप अस्पष्ट प्रॉम्प्ट देते हैं, तो आप मॉडल को सबूत के बजाय अंदाज़े से कमियों को भरने के लिए कहते हैं।
जब मॉडल एनालिसिस कोड लिखता है, तो उसे कोड जनरेशन कहते हैं। आपको फिर भी इसे चलाना होता है, इसकी जाँच करनी होती है और यह पक्का करना होता है कि यह आपके डिज़ाइन से मेल खाता है। जब मॉडल ऐसी कोई जानकारी बनाता है जिसका आपके डेटासेट या लॉग में कोई आधार नहीं होता, तो उसे हैलुसिनेशन कहते हैं। A/B टेस्टिंग में, हैलुसिनेशन मनगढ़ंत सैंपल साइज़, बिना आधार के कारण बताने वाली भाषा, या ऐसे टेस्ट के चुनाव के रूप में दिखते हैं जो चुपचाप सामान्यता (normality) मान लेते हैं।
टूल के इस्तेमाल का मतलब है कि मॉडल SQL रनर या नोटबुक कर्नल जैसे मंज़ूर किए गए टूल का इस्तेमाल कर सकता है। यह अभी भी माप (measurement) को मान्य नहीं करता है, यह बस निर्देशों को पूरा करता है। आप यह जाँचते हैं कि चलाई गई क्वेरी एक्सपेरिमेंट की आबादी और बाहर रखने के नियमों (exclusion rules) से मेल खाती है या नहीं।
देखें कि AI का आउटपुट कैसे छोटी लेकिन महत्वपूर्ण बातों में गलत हो सकता है।
AI वहाँ सबसे ज़्यादा मदद करता है जहाँ काम व्यवस्थित हो और वेरिफिकेशन साफ़-सुथरा हो। इंस्ट्रूमेंटेशन QA इसका एक अच्छा उदाहरण है। आप AI से ऐसी क्वेरी बनाने के लिए कह सकते हैं जो गायब variant असाइनमेंट, किसी खास date पर अचानक इवेंट ड्रॉप, या platform डिस्ट्रीब्यूशन में असंतुलन की जाँच करें। आप क्वेरी चलाकर और यह कन्फर्म करके वेरिफिकेशन करते हैं कि काउंट आपके असाइनमेंट टेबल से मेल खाते हैं।
मेट्रिक की परिभाषाएँ एक और अहम पॉइंट हैं। AI activated_7d के लिए मेट्रिक स्पेसिफिकेशन का ड्राफ़्ट बना सकता है और ज़रूरी चीज़ों को हटाने (exclusions) की लिस्ट बना सकता है, लेकिन परिभाषा आप तय करते हैं और आप कन्फर्म करते हैं कि यह इस बात से मेल खाती है कि बिज़नेस सफलता को कैसे समझेगा। अगर स्टेकहोल्डर को लगता है कि एक्टिवेशन का मतलब स्टेप 3 पूरा करना है, लेकिन आपका मेट्रिक 7 दिनों के भीतर कोई भी सेशन है, तो एक्सपेरिमेंट का नतीजा ऑपरेशन के नज़रिए से गलत होगा, भले ही p-value कम हो।
AI एनालिसिस नैरेटिव का ड्राफ़्ट भी बना सकता है। आप अभी भी प्राइमरी एस्टिमेट, उसके कॉन्फिडेंस इंटरवल और फ़ैसले के लिए ज़रूरी सेगमेंटेशन की गणना करते हैं। AI पहला ड्राफ़्ट लिखता है, फ़ाइनल ड्राफ़्ट में हर दावे की ज़िम्मेदारी आपकी होती है।
आम कामों को AI की भागीदारी के सही लेवल से जोड़ने की कोशिश करें।