Ein KI-Chatbot-System ist eine Software, die eine Nachricht eines Nutzers entgegennimmt und eine hilfreiche Antwort liefert. Dies geschieht meist durch den Aufruf eines großen Sprachmodells (LLM), wobei dieser Aufruf in eine produktbezogene Logik eingebettet ist – etwa Sicherheitsüberprüfungen, Formatierungen und eine Speicherfunktion (Kontextverwaltung). Das System umfasst Komponenten, die Nachrichten empfangen, entscheiden, welche Inhalte an das Modell gesendet werden, und die Antwort an den Nutzer zurückgeben.
Um die Systemgrenzen klar zu definieren, unterscheiden wir drei Rollen. Die Client-Anwendung stellt den Gesprächsverlauf dar und sendet Nachrichten. Das Backend steuert den Chat-Ablauf und verwaltet die Daten. Der Modellanbieter betreibt das Modell und liefert bei einem Aufruf den generierten Text zurück.
Die einfachste Variante besteht aus einem einzelnen Backend-Dienst, der eine POST /chat-API bereitstellt. Der Client sendet die Daten {conversation_id, user_message}. Der Dienst lädt die vorangegangenen Gesprächsschritte, ruft unter Einbeziehung dieses Kontexts eine LLM-API auf und überträgt die generierten Tokens per Streaming an den Client, sobald sie eintreffen. Veranschaulichen wir dies anhand eines grundlegenden Ablaufs in einer einzelnen Region:
Bei diesem Basismodell fungiert der API-Dienst als zentrale Entscheidungsinstanz. Er liest und schreibt den Chatverlauf in einem Speicher, damit der Gesprächsfaden bei einer Seitenaktualisierung nicht verloren geht, und ruft die LLM-API auf, um die nächste Antwort des Assistenten zu generieren. Protokolle und Metriken erfassen die Antwortzeiten und Fehlermeldungen, sodass wir erkennen können, wann das System langsamer wird oder ausfällt.
Schon bei geringem Verkehrsaufkommen treten zwei Aspekte schnell in den Vordergrund. Nutzer nehmen Latenzzeiten wahr, da die Zeit bis zur Anzeige des ersten Textes darüber entscheidet, ob die App reaktionsschnell wirkt, während die Gesamtdauer der Generierung bestimmt, ob Nutzer bei langen Antworten vorzeitig abbrechen. Auch die Kosten werden sichtbar, da jeder Modellaufruf Tokens verbraucht; jeder zusätzliche Interaktionsschritt und jeder zusätzlich abgerufene Textausschnitt erhöhen somit die Ausgaben pro Konversation.
Ein Latenzbudget definiert den Zeitrahmen zwischen dem Absenden der Nachricht durch den Nutzer und dem Erhalt einer verwertbaren Antwort. Bei einem Streaming-Chatbot unterteilt sich dieser Zeitraum in die Zeit bis zum ersten Token und die Gesamtdauer bis zur vollständigen Antwort; unser Basismodell umfasst beide Phasen. Die Wahl eines langsameren Modells erhöht beide Werte, während die Einbeziehung von mehr Kontext oft die Gesamtdauer verlängert, selbst wenn die Zeit bis zum ersten Token gleich bleibt. Im Folgenden veranschaulichen wir das Spannungsfeld zwischen Latenz und Kosten konkret: