AI चैट ऐप्स ऊपर से देखने में आसान लगते हैं, लेकिन लेटेंसी (देरी), कॉन्टेक्स्ट का बढ़ना, रेट लिमिट और बार-बार कोशिश करने (retries) जैसी चीज़ें इन्हें जल्द ही सिस्टम डिज़ाइन की समस्याओं में बदल देती हैं। यह कोर्स AI चैट सर्विस से जुड़े मुख्य फैसलों के बारे में शुरुआती लोगों के लिए आसान जानकारी देता है। इसमें इस बात पर ज़ोर दिया गया है कि ये फैसले रिस्पॉन्सिवनेस, लागत और सही काम करने की क्षमता पर कैसे असर डालते हैं। इस कोर्स के बाद आप एक छोटे चैट आर्किटेक्चर को समझा सकेंगे, यह पहचान सकेंगे कि देरी और एक ही काम बार-बार होने की समस्या कहाँ से आती है, और ज़्यादा लोड होने पर भी अपने प्रैक्टिकल डिज़ाइन फैसलों का बचाव कर सकेंगे।
इस कोर्स में बेसिक चैट सर्विस, स्ट्रीमिंग टर्न में एंड-टू-एंड लेटेंसी, बातचीत को स्टोर करना और संदर्भ (context) को एक साथ लाना, रेट लिमिटिंग, API कॉन्ट्रैक्ट, आइडमपोटेंसी और फेलियर के समय स्ट्रेस टेस्टिंग जैसी चीज़ें शामिल हैं। यह उन आर्किटेक्चर से जुड़े फैसलों पर ध्यान देता है जो कम लेटेंसी वाले AI चैट के व्यवहार को तय करते हैं।