A primera vista, las aplicaciones de chat con IA parecen sencillas, pero factores como la latencia, el crecimiento del contexto, los límites de tasa y los reintentos las convierten rápidamente en desafíos de diseño de sistemas. Este curso ofrece una perspectiva accesible para principiantes sobre las decisiones fundamentales que sustentan un servicio de chat con IA, haciendo hincapié en cómo dichas decisiones repercuten en la capacidad de respuesta, los costos y la precisión del sistema. Al finalizar, serás capaz de explicar la arquitectura de un chat sencillo, identificar el origen de los retrasos y la duplicidad de tareas, y justificar decisiones de diseño prácticas para situaciones de alta carga.
El curso abarca un servicio de chat base, la latencia de extremo a extremo en un turno de transmisión (streaming), el almacenamiento de conversaciones y la composición del contexto, la limitación de tasa (rate limiting), los contratos de API, la idempotencia y las pruebas de estrés en condiciones de fallo. Se centra en las decisiones arquitectónicas que determinan el comportamiento de los chats con IA de baja latencia.