Auf den ersten Blick wirken KI-Chat-Apps simpel, doch Faktoren wie Latenz, wachsender Kontext, Ratenbegrenzungen und Wiederholungsversuche machen sie schnell zu einer Herausforderung für das Systemdesign. Dieser Kurs vermittelt ein einsteigerfreundliches Verständnis der wichtigsten Entscheidungen bei der Entwicklung eines KI-Chat-Dienstes und beleuchtet dabei insbesondere die Auswirkungen auf Reaktionsgeschwindigkeit, Kosten und Korrektheit. Am Ende des Kurses sind Sie in der Lage, eine kompakte Chat-Architektur zu erläutern, Ursachen für Verzögerungen und redundante Prozesse zu identifizieren sowie praxisorientierte Designentscheidungen auch unter Last zu begründen.
Der Kurs behandelt einen grundlegenden Chat-Dienst, die End-to-End-Latenz bei Streaming-Interaktionen, die Speicherung von Konversationen und die Zusammenstellung des Kontexts, Rate Limiting, API-Verträge, Idempotenz sowie Stresstests unter Fehlerbedingungen. Der Schwerpunkt liegt auf den Architekturentscheidungen, die das Verhalten von KI-Chats mit geringer Latenz maßgeblich bestimmen.