Ein KI-Chatbot-System ist mehr als nur ein Prompt und ein Modellaufruf: Es erfordert Request-Routing, Speicherfunktionen, Retrieval-Mechanismen, Skalierungsstrategien und Fallback-Verfahren, die auch unter realer Last zuverlässig funktionieren. Dieser Kurs vermittelt auf einsteigerfreundliche Weise ein Verständnis für das Gesamtsystem – von der ersten funktionsfähigen Architektur bis hin zu den Abwägungen, die Latenz, Kosten und Zuverlässigkeit bestimmen. Am Ende sind die Teilnehmenden in der Lage, ein praxisnahes Chatbot-Design zu erläutern und unter Berücksichtigung typischer Produktionsanforderungen zu begründen.
Der Kurs behandelt die Kernarchitektur von Chatbots, den End-to-End-Anfrageablauf, das Konversationsgedächtnis, Retrieval-Augmented Generation (RAG) mittels Vektorsuche, die Skalierung der Inferenz sowie die Zuverlässigkeit bei Teilausfällen. Zudem werden die Abwägungen im Zusammenhang mit Kontextfenstern, Chunking, Top-k-Retrieval, Batching, Caching, Rate Limits, Timeouts, Wiederholungsversuchen und Fallback-Strategien erörtert.