ArrayKit

Planificador de ventana de contexto

Reparte una ventana de contexto entre el prompt, las herramientas, el historial y la respuesta.

Planificador de ventana de contexto

Reparte una ventana de contexto entre el prompt, las herramientas, el historial y la respuesta.

Aquí solo se introducen tamaños, nunca el texto. Nada se sube.

Ordena la petición para que se cachee

Acerca de Planificador de contexto

La ventana se reparte entre todo lo que envías y el sitio que necesita la respuesta, y esa segunda mitad es la que se olvidan los presupuestos. Una petición que suma justo por debajo del límite no cabe, porque la respuesta no tiene dónde ir. Esto lo despliega todo: el prompt de sistema, las definiciones de herramienta, los documentos, la conversación hasta ahora y este turno, más una reserva para la respuesta, frente a la ventana real del modelo. Dice si cabe y por cuánto, y nombra la parte que domina, que casi siempre es el historial y casi siempre es lo primero que conviene arreglar.

Características

  • Cada parte de la petición dimensionada frente a la ventana real
  • Sitio reservado para la respuesta, que es lo que hace honesto un presupuesto
  • Avisa cuando la reserva supera lo que el modelo generará
  • Avisa cuando el historial se ha apoderado de la ventana
  • Una barra apilada que muestra a dónde va realmente la ventana
  • La capacidad sobrante, o el exceso, como número
  • Ventanas de modelo con la fecha en que se comprobaron
  • Todos los campos editables, para que encaje con tu petición

Cómo usar Planificador de contexto

  1. Elige el modelo al que apuntas
  2. Introduce el tamaño de cada parte de la petición
  3. Reserva tokens suficientes para la respuesta
  4. Lee si cabe y qué está dominando

Ejemplo

Entrada

32,100 sent + 4,000 reserved

Salida

Fits, with 963.9K to spare

La reserva es parte de lo que tiene que caber, no una idea de última hora.

Errores comunes y solución de problemas

  • Dice que no cabe pero mis números están bajo el límite. — La respuesta también tiene que caber. La cifra comprometida es lo que envías más lo que reservaste.
  • No sé cuánto ocupan mis partes. — Usa el contador de tokens para medir un texto concreto. Esta herramienta es para la forma del presupuesto más que para una medida exacta.
  • La reserva aparece como demasiado grande. — Todo modelo limita cuánto genera en una respuesta, algo distinto de la ventana. El límite se muestra bajo el campo.
  • El historial domina la ventana. — Ese es el aviso que conviene atender. Compactar, editar el contexto o resumir los turnos antiguos harán más aquí que cualquier otro cambio.

Preguntas frecuentes

¿Por qué reservar tokens para la respuesta?
Porque la respuesta se genera dentro de la misma ventana. Si la entrada la llena, no queda sitio para responder, lo que produce una respuesta truncada o un error en vez de un mensaje claro sobre el presupuesto.
¿Qué diferencia hay entre la ventana y el límite de salida?
La ventana es cuánto puede sostener el modelo a la vez. El límite de salida es cuánto generará en una sola respuesta, y es mucho menor. Aquí se comprueban ambos, porque superar cualquiera de los dos falla.
¿Los números son exactos?
Los tamaños de ventana son los publicados, con la fecha en que se comprobaron. Lo que introduzcas para cada parte es tu propia estimación, así que trata el resultado como la forma del presupuesto y no como una garantía.
¿Qué hago cuando no cabe?
Mira qué parte es mayor, que casi siempre es el historial o los documentos recuperados. Recuperar menos y resumir los turnos anteriores ayudan mucho más que recortar el prompt de sistema.
¿Lo soluciona una ventana más grande?
Compra espacio, no eficiencia. Todo lo que está en la ventana se paga en cada petición, así que una conversación que llene una ventana grande cuesta en consecuencia, que es para lo que están las herramientas de coste.

Herramientas relacionadas

Más herramientas de IA y agentes

Ver todas las herramientas de IA y agentes · Todas las herramientas