Окно делится между всем, что вы отправляете, и местом, которое нужно ответу, — и именно вторую половину бюджеты забывают. Запрос, чья сумма ложится чуть ниже предела, не помещается, потому что ответу некуда деться. Здесь всё раскладывается: системный промпт, определения инструментов, документы, разговор до сих пор и текущий ход, плюс резерв под ответ — всё против настоящего окна модели. Инструмент говорит, помещается ли и с каким запасом, и называет часть, которая доминирует; почти всегда это история и почти всегда именно с неё стоит начинать.
Возможности
Каждая часть запроса измерена против настоящего окна
Место, зарезервированное под ответ, — именно это делает бюджет честным
Предупреждает, когда резерв превышает то, что модель сгенерирует
Предупреждает, когда история заняла окно
Составная полоса, показывающая, куда уходит окно
Свободный запас или превышение числом
Окна моделей с датой проверки
Все поля редактируемы под ваш запрос
Как использовать Планировщик контекста
Выберите целевую модель
Введите размер каждой части запроса
Зарезервируйте достаточно токенов под ответ
Прочтите, помещается ли и что доминирует
Пример
Ввод
32,100 sent + 4,000 reserved
Результат
Fits, with 963.9K to spare
Резерв — часть того, что должно поместиться, а не запоздалая мысль.
Частые ошибки и устранение неполадок
Говорит, что не помещается, хотя мои числа ниже предела. — Ответ тоже должен поместиться. Занятая величина — это отправляемое плюс зарезервированное.
Я не знаю размеров своих частей. — Измерьте конкретный текст счётчиком токенов. Этот инструмент про форму бюджета, а не про точное измерение.
Резерв помечен как слишком большой. — У каждой модели есть предел того, сколько она сгенерирует за один ответ, и он отдельный от окна. Предел показан под полем.
История доминирует в окне. — Вот на это предупреждение и стоит реагировать. Сжатие, редактирование контекста или пересказ старых ходов дадут здесь больше, чем любое другое изменение.
Часто задаваемые вопросы
Зачем резервировать токены под ответ?
Потому что ответ генерируется в том же окне. Если вход его заполняет, отвечать негде — получается обрезанный ответ или ошибка вместо внятного сообщения про бюджет.
Чем окно отличается от предела вывода?
Окно — сколько модель удерживает за раз. Предел вывода — сколько она сгенерирует в одном ответе, и он заметно меньше. Проверяется и то и другое, потому что превышение любого приводит к сбою.
Точны ли числа?
Размеры окон опубликованные, с датой проверки. То, что вы вводите по частям, — ваша собственная оценка, поэтому относитесь к результату как к форме бюджета, а не к гарантии.
Что делать, когда не помещается?
Посмотрите, какая часть больше всех: почти всегда это история или найденные документы. Забирать меньше и пересказывать прежние ходы помогает намного сильнее, чем подрезать системный промпт.
Решает ли дело окно побольше?
Оно покупает место, а не эффективность. Всё в окне оплачивается на каждом запросе, поэтому разговор, заполняющий большое окно, стоит соответственно.
Связанные инструменты
Планировщик кэша — Упорядочьте блоки так, чтобы кэшируемый префикс был как можно длиннее.