يُعرَّف نظام روبوت الدردشة المعتمد على الذكاء الاصطناعي بأنه البرنامج الذي يتلقى رسالة المستخدم ويقدم رداً مفيداً؛ ويتم ذلك عادةً عن طريق استدعاء نموذج لغوي كبير (LLM) وتغليف هذا الاستدعاء بمنطق وظيفي خاص بالمنتج، مثل عمليات التحقق من الأمان، وتنسيق المخرجات، وإدارة الذاكرة. ويشمل النظام المكونات المسؤولة عن استقبال الرسائل، وتحديد ما يجب إرساله إلى النموذج، وإيصال الرد إلى المستخدم.
للحفاظ على وضوح حدود النظام، نميز بين ثلاثة أدوار: يقوم تطبيق العميل (Client app) بعرض المحادثة وإرسال الرسائل؛ ويتولى النظام الخلفي (Backend) إدارة سير عمل المحادثة والبيانات؛ بينما يقوم مزود النموذج بتشغيل النموذج وإعادة النص المُولَّد عند استدعائه.
تتمثل أبسط نسخة في خدمة خلفية واحدة توفر واجهة برمجة تطبيقات (API) من النوع POST /chat. يرسل العميل البيانات بصيغة {conversation_id, user_message}. تقوم الخدمة بتحميل التبادلات السابقة لتلك المحادثة، واستدعاء واجهة برمجة تطبيقات النموذج اللغوي الكبير (LLM) مع تضمين هذا السياق، ثم بث الرموز (tokens) وإعادتها إلى العميل فور ورودها. لنقم بتوضيح هذا المفهوم من خلال مسار عمل أساسي يعمل في منطقة جغرافية واحدة:
في هذا النموذج الأساسي، تُعد خدمة واجهة برمجة التطبيقات (API) هي نقطة اتخاذ القرار؛ فهي تتولى قراءة سجل المحادثة وكتابته في مخزن مخصص لضمان عدم فقدان سياق الحوار عند تحديث الصفحة، كما تستدعي واجهة برمجة تطبيقات النموذج اللغوي الكبير (LLM) لتوليد رسالة المساعد التالية. وتعمل سجلات الأحداث ومقاييس الأداء على رصد توقيتات الطلبات والأخطاء، مما يتيح لنا تحديد متى يتباطأ النظام أو يتعطل.
حتى مع معدلات حركة مرور منخفضة، تبرز سريعاً مؤشران أساسيان. يلاحظ المستخدمون زمن الاستجابة (الكمون)؛ لأن الوقت المستغرق لظهور أول نص مرئي يحدد مدى شعورهم باستجابة التطبيق، بينما يحدد إجمالي وقت التوليد ما إذا كانوا سيتخلون عن قراءة الإجابات الطويلة. كما تصبح التكلفة عاملاً ملموساً؛ نظراً لأن كل عملية استدعاء للنموذج تستهلك “رموزاً” (tokens)، وبالتالي فإن كل تبادل إضافي أو مقتطف معلومات مسترجع يزيد من تكلفة المحادثة الواحدة.
تُعرف ميزانية زمن الاستجابة (Latency Budget) بأنها الفترة الزمنية المتاحة بدءاً من لحظة ضغط المستخدم على زر الإرسال وحتى رؤيته لاستجابة قابلة للاستخدام. وفي أنظمة الدردشة الآلية التي تعتمد البث المباشر للبيانات (streaming)، تنقسم هذه الفترة إلى: الوقت اللازم لظهور الرمز الأول، وإجمالي الوقت اللازم لإتمام الإجابة؛ وكلا العنصرين موجودان في مسار العمل الأساسي. ويؤدي اختيار نموذج أبطأ إلى زيادة كلا الرقمين، في حين أن إضافة المزيد من السياق غالباً ما تزيد من إجمالي وقت المعالجة، حتى وإن ظل الوقت اللازم لظهور الرمز الأول ثابتاً. وفيما يلي، نوضح بشكل عملي العلاقة المتبادلة (والتحدي القائم) بين زمن الاستجابة والتكلفة: