Um laço de agente não custa uma chamada multiplicada pelo número de turnos, e a diferença não é pequena. A API não tem estado, então cada turno reenvia tudo o que veio antes: o prompt de sistema, as definições de ferramenta e cada mensagem e resultado até ali. O turno oito envia tudo o que os turnos um a sete enviaram, mais o que produziram. Isso faz o custo crescer com o quadrado da conversa e não com o comprimento dela, e por isso laços que parecem baratos em teste não são. Isto percorre o laço turno a turno, aplica cache onde cache se aplica e diz qual turno estoura a janela.
Recursos
Cada turno precificado separadamente, com o histórico que reenvia
Cache aplicado só ao prefixo fixo, que é o modelo honesto
O mesmo laço precificado sem cache, para comparação
Conta os tokens reenviados só porque a API não tem estado
Diz qual turno estoura a janela de contexto
Preço em lote como interruptor
Um gráfico de barras por turno, para o crescimento ficar visível
Taxas com a data em que foram conferidas
Como usar Custo de um loop de agente
Escolha um modelo e quantos turnos espera
Informe o prefixo fixo e os tamanhos de saída e de resultado
Defina uma taxa de acerto de cache realista
Leia o total, a economia e onde estoura
Exemplo
Entrada
8 turns, 4K prefix, 1.5K tool results
Saída
Turn 8 sends 19.4K tokens — turn 1 sent 4.5K
O crescimento é o histórico, não o trabalho.
Erros comuns e solução de problemas
Minha conta real é maior que isto. — Costumam ser os resultados de ferramenta: são a entrada maior e menos previsível. Tente o tamanho do seu pior resultado em vez de um típico.
A economia por cache parece boa demais. — Só o prefixo fixo é tratado como cacheável, o que já é a suposição conservadora. Se seu prefixo muda entre turnos, baixe a taxa de acerto.
Diz que a janela estoura. — A conversa ultrapassa o modelo antes de o laço terminar. Compactar, editar o contexto ou reduzir os resultados de ferramenta são as soluções, nessa ordem de efeito.
Como sei meus tamanhos em tokens? — Meça um turno real com o contador de tokens e use esses números. O formato da resposta importa mais que a precisão.
Perguntas frequentes
Por que um laço de agente custa mais que o mesmo trabalho numa chamada?
Porque a conversa inteira é reenviada a cada turno. Dez turnos não são dez chamadas de entrada: são a soma de uma conversa crescente, e por isso a curva de custo se dobra para cima.
O que mais encarece?
O tamanho dos resultados de ferramenta, normalmente de longe. Tokens de saída custam mais por token mas são muito menos; uma ferramenta verbosa que devolve uma página de JSON a cada turno é o que transforma um laço barato num caro.
Uma taxa de acerto de 90% é realista?
Para um prompt de sistema estável e uma lista fixa de ferramentas, sim. Se seu prefixo contém algo por requisição, está mais perto de zero, e o planejador de cache é a ferramenta para descobrir qual é o seu caso.
Devo usar preço em lote?
Só se o trabalho não for interativo. Ele corta a conta pela metade e abre mão de poder reagir, o que combina com avaliações e processamento em massa mais do que com um agente que alguém está esperando.
Quão preciso é isto?
É um modelo, não um orçamento. Acerta o formato — o crescimento, o efeito do cache, o ponto de estouro — a partir dos números que você informa. Preços publicados mudam, então a data da conferência aparece ao lado deles.
Ferramentas relacionadas
Planejador de cache — Ordene os blocos para que o prefixo cacheável seja o mais longo possível.
Planejador de contexto — Divida a janela entre prompt, ferramentas, histórico e a resposta.
Construtor de lotes — Transforme uma tabela de linhas em um job em lote, com ids únicos.
Calculadora de Custo de LLM — Estime os custos das APIs GPT, Claude e Gemini a partir das contagens de tokens de entrada e saída.