A janela é dividida entre tudo o que você envia e o espaço de que a resposta precisa, e essa segunda metade é a que os orçamentos esquecem. Uma requisição que soma logo abaixo do limite não cabe, porque a resposta não tem para onde ir. Isto abre tudo: o prompt de sistema, as definições de ferramenta, os documentos, a conversa até agora e este turno, mais uma reserva para a resposta, contra a janela real do modelo. Diz se cabe e por quanto, e nomeia a parte que está dominando, que quase sempre é o histórico e quase sempre é o que vale arrumar primeiro.
Recursos
Cada parte da requisição dimensionada contra a janela real
Espaço reservado para a resposta, que é o que torna um orçamento honesto
Avisa quando a reserva ultrapassa o que o modelo vai gerar
Avisa quando o histórico tomou conta da janela
Uma barra empilhada mostrando para onde a janela realmente vai
A capacidade sobrando, ou o excesso, como número
Janelas de modelo com a data em que foram conferidas
Todos os campos editáveis, para encaixar na sua requisição
Como usar Planejador de contexto
Escolha o modelo que você mira
Informe o tamanho de cada parte da requisição
Reserve tokens suficientes para a resposta
Leia se cabe, e o que está dominando
Exemplo
Entrada
32,100 sent + 4,000 reserved
Saída
Fits, with 963.9K to spare
A reserva faz parte do que precisa caber, não é um detalhe posterior.
Erros comuns e solução de problemas
Diz que não cabe mas meus números estão abaixo do limite. — A resposta também precisa caber. O valor comprometido é o que você envia mais o que reservou.
Não sei quanto minhas partes ocupam. — Use o contador de tokens para medir um texto específico. Esta ferramenta é para o formato do orçamento mais do que para uma medida exata.
A reserva é apontada como grande demais. — Todo modelo limita quanto gera numa resposta, o que é diferente da janela. O limite aparece abaixo do campo.
O histórico domina a janela. — Esse é o aviso que vale atender. Compactar, editar o contexto ou resumir turnos antigos vão render mais aqui do que qualquer outra mudança.
Perguntas frequentes
Por que reservar tokens para a resposta?
Porque a resposta é gerada dentro da mesma janela. Se a entrada a preenche, não sobra espaço para responder, o que produz uma resposta truncada ou um erro em vez de uma mensagem clara sobre o orçamento.
Qual a diferença entre a janela e o limite de saída?
A janela é quanto o modelo consegue segurar de uma vez. O limite de saída é quanto ele gera numa única resposta, e é bem menor. Os dois são conferidos aqui, porque estourar qualquer um deles falha.
Os números são exatos?
Os tamanhos de janela são os publicados, com a data em que foram conferidos. O que você informa para cada parte é sua própria estimativa, então trate o resultado como o formato do orçamento e não como garantia.
O que faço quando não cabe?
Olhe qual parte é maior, que quase sempre é o histórico ou os documentos recuperados. Recuperar menos e resumir turnos anteriores ajudam muito mais que aparar o prompt de sistema.
Uma janela maior resolve?
Compra espaço, não eficiência. Tudo que está na janela é pago em toda requisição, então uma conversa que preenche uma janela grande custa de acordo — que é para isso que servem as ferramentas de custo.
Ferramentas relacionadas
Planejador de cache — Ordene os blocos para que o prefixo cacheável seja o mais longo possível.