AI چیٹ بوٹ سسٹم ایک ایسا سافٹ ویئر ہے جو صارف کا پیغام وصول کرتا ہے اور ایک مفید جواب فراہم کرتا ہے۔ یہ عمل عام طور پر کسی ‘لارج لینگویج ماڈل’ (LLM) کو کال کرنے اور اس کال کو پروڈکٹ کی مخصوص منطق (جیسے حفاظتی جانچ، فارمیٹنگ، اور میموری) کے ساتھ مربوط کرنے کے ذریعے انجام پاتا ہے۔ اس سسٹم میں وہ اجزاء شامل ہوتے ہیں جو پیغامات وصول کرتے ہیں، یہ فیصلہ کرتے ہیں کہ ماڈل کو کیا بھیجنا ہے، اور تیار شدہ جواب صارف تک پہنچاتے ہیں۔
سسٹم کی حدود کو واضح رکھنے کے لیے، ہم تین کرداروں کو الگ الگ رکھتے ہیں۔ ‘کلائنٹ ایپ’ بات چیت کو دکھاتی ہے اور پیغامات بھیجتی ہے۔ ‘بیک اینڈ’ چیٹ کے ورک فلو اور ڈیٹا کا انتظام سنبھالتا ہے۔ ‘ماڈل فراہم کنندہ’ (model provider) ماڈل کو چلاتا ہے اور کال موصول ہونے پر تیار کردہ متن (generated text) واپس بھیجتا ہے۔
اس کا سادہ ترین ورژن ایک واحد بیک اینڈ سروس ہے جو POST /chat API فراہم کرتی ہے۔ کلائنٹ {conversation_id, user_message} بھیجتا ہے۔ سروس اس گفتگو کے پچھلے مراحل (turns) کو لوڈ کرتی ہے، اس سیاق و سباق (context) کے ساتھ LLM API کو کال کرتی ہے، اور جیسے جیسے ٹوکنز (tokens) موصول ہوتے ہیں، انہیں واپس کلائنٹ کو اسٹریم کرتی ہے۔ آئیے اسے ایک ریجن (خطے) پر مبنی بنیادی ورک فلو کے تناظر میں سمجھتے ہیں:
اس بنیادی ماڈل (baseline) میں، API سروس ہی فیصلہ سازی کا مرکز ہے۔ یہ چیٹ اسٹور (chat store) سے چیٹ کی تاریخ پڑھتی اور اس میں لکھتی ہے تاکہ صفحہ ریفریش ہونے پر گفتگو کا تسلسل برقرار رہے، اور یہ اسسٹنٹ کا اگلا پیغام تیار کرنے کے لیے LLM API کو کال کرتی ہے۔ لاگز (logs) اور میٹرکس (metrics) درخواست کے اوقات اور خرابیوں (errors) کا ریکارڈ رکھتے ہیں تاکہ ہم دیکھ سکیں کہ سسٹم کب سست پڑتا ہے یا ناکام ہوتا ہے۔
معمولی ٹریفک کے دوران بھی دو اہم پہلو فوراً نمایاں ہو جاتے ہیں۔ صارفین ‘لیٹنسی’ (latency) یا تاخیر کو محسوس کرتے ہیں کیونکہ پہلے نظر آنے والے متن (first visible text) تک کا وقت یہ طے کرتا ہے کہ آیا ایپ فوری ردعمل دینے والی (responsive) محسوس ہوتی ہے یا نہیں، اور جواب کی تیاری کا کل وقت یہ طے کرتا ہے کہ آیا وہ طویل جوابات کو ادھورا چھوڑ دیں گے۔ لاگت بھی نمایاں ہو جاتی ہے کیونکہ ماڈل کی ہر کال ٹوکنز (tokens) استعمال کرتی ہے، لہذا گفتگو کے دوران ہر اضافی مرحلہ اور حاصل کیا گیا ہر اضافی اقتباس (snippet) فی گفتگو اخراجات میں اضافہ کرتا ہے۔
لیٹنسی بجٹ (latency budget) سے مراد وہ وقت ہے جو صارف کے ‘سینڈ’ (send) کا بٹن دبانے سے لے کر قابلِ استعمال جواب دیکھنے تک صرف کیا جا سکتا ہے۔ اسٹریمنگ چیٹ بوٹ میں، یہ وقت دو حصوں میں تقسیم ہوتا ہے: پہلے ٹوکن کے ظاہر ہونے کا وقت اور جواب مکمل ہونے کا کل وقت؛ اور بنیادی ورک فلو (baseline flow) میں یہ دونوں شامل ہوتے ہیں۔ سست رفتار ماڈل کا انتخاب ان دونوں اوقات میں اضافہ کرتا ہے، جبکہ مزید سیاق و سباق (context) شامل کرنے سے اکثر کل وقت بڑھ جاتا ہے، چاہے پہلے ٹوکن کے ظاہر ہونے کا وقت وہی رہے۔ اب ہم لیٹنسی اور لاگت کے درمیان اس توازن یا کشمکش کو مزید واضح کرتے ہیں: