Um sistema de chatbot com IA é um software que recebe a mensagem de um usuário e retorna uma resposta útil, geralmente acionando um modelo de linguagem de grande porte (LLM) e envolvendo essa chamada em uma lógica de produto que inclui verificações de segurança, formatação e memória. O sistema engloba os componentes responsáveis por aceitar mensagens, decidir o que enviar ao modelo e entregar a resposta ao usuário.
Para manter claros os limites do sistema, distinguimos três papéis. O aplicativo cliente exibe a conversa e envia mensagens. O backend gerencia o fluxo de trabalho do chat e os dados. O provedor do modelo executa o modelo e retorna o texto gerado quando acionado.
A versão mais simples consiste em um único serviço de backend que expõe uma API POST /chat. O cliente envia {conversation_id, user_message}. O serviço carrega as interações anteriores daquela conversa, chama uma API de LLM utilizando esse contexto e transmite os tokens de volta ao cliente à medida que são gerados. Vamos basear isso em um fluxo padrão de região única:
Nesta configuração base, o serviço de API atua como o ponto de decisão. Ele lê e grava o histórico do chat em um armazenamento dedicado — garantindo que a sequência da conversa não se perca caso a página seja atualizada — e chama a API do LLM para gerar a próxima mensagem do assistente. Logs e métricas registram os tempos de requisição e os erros, permitindo identificar quando o sistema apresenta lentidão ou falhas.
Mesmo com um volume de tráfego modesto, dois indicadores surgem rapidamente. Os usuários percebem a latência, pois o tempo até a exibição do primeiro texto define se o aplicativo parece responsivo, enquanto o tempo total de geração determina se eles desistirão de respostas longas. O custo também se torna evidente, já que cada chamada ao modelo consome tokens; assim, cada interação adicional e cada trecho de informação recuperado aumentam o gasto por conversa.
Um orçamento de latência é o tempo disponível entre o momento em que o usuário envia a mensagem e aquele em que ele visualiza uma resposta utilizável. Em um chatbot com streaming, esse intervalo se divide em tempo até o primeiro token e tempo total para concluir a resposta — e o fluxo base envolve ambos. A escolha de um modelo mais lento eleva essas duas métricas, ao passo que adicionar mais contexto frequentemente aumenta o tempo total, mesmo que o tempo até o primeiro token permaneça semelhante. A seguir, ilustramos de forma concreta essa tensão entre latência e custo: