ArrayKit

Планировщик контекстного окна

Распределите контекстное окно между промптом, инструментами, историей и ответом.

Планировщик контекстного окна

Распределите контекстное окно между промптом, инструментами, историей и ответом.

Здесь вводятся только размеры, а не сам текст. Ничего не отправляется.

Упорядочить запрос под кэш

Об инструменте Планировщик контекста

Окно делится между всем, что вы отправляете, и местом, которое нужно ответу, — и именно вторую половину бюджеты забывают. Запрос, чья сумма ложится чуть ниже предела, не помещается, потому что ответу некуда деться. Здесь всё раскладывается: системный промпт, определения инструментов, документы, разговор до сих пор и текущий ход, плюс резерв под ответ — всё против настоящего окна модели. Инструмент говорит, помещается ли и с каким запасом, и называет часть, которая доминирует; почти всегда это история и почти всегда именно с неё стоит начинать.

Возможности

  • Каждая часть запроса измерена против настоящего окна
  • Место, зарезервированное под ответ, — именно это делает бюджет честным
  • Предупреждает, когда резерв превышает то, что модель сгенерирует
  • Предупреждает, когда история заняла окно
  • Составная полоса, показывающая, куда уходит окно
  • Свободный запас или превышение числом
  • Окна моделей с датой проверки
  • Все поля редактируемы под ваш запрос

Как использовать Планировщик контекста

  1. Выберите целевую модель
  2. Введите размер каждой части запроса
  3. Зарезервируйте достаточно токенов под ответ
  4. Прочтите, помещается ли и что доминирует

Пример

Ввод

32,100 sent + 4,000 reserved

Результат

Fits, with 963.9K to spare

Резерв — часть того, что должно поместиться, а не запоздалая мысль.

Частые ошибки и устранение неполадок

  • Говорит, что не помещается, хотя мои числа ниже предела. — Ответ тоже должен поместиться. Занятая величина — это отправляемое плюс зарезервированное.
  • Я не знаю размеров своих частей. — Измерьте конкретный текст счётчиком токенов. Этот инструмент про форму бюджета, а не про точное измерение.
  • Резерв помечен как слишком большой. — У каждой модели есть предел того, сколько она сгенерирует за один ответ, и он отдельный от окна. Предел показан под полем.
  • История доминирует в окне. — Вот на это предупреждение и стоит реагировать. Сжатие, редактирование контекста или пересказ старых ходов дадут здесь больше, чем любое другое изменение.

Часто задаваемые вопросы

Зачем резервировать токены под ответ?
Потому что ответ генерируется в том же окне. Если вход его заполняет, отвечать негде — получается обрезанный ответ или ошибка вместо внятного сообщения про бюджет.
Чем окно отличается от предела вывода?
Окно — сколько модель удерживает за раз. Предел вывода — сколько она сгенерирует в одном ответе, и он заметно меньше. Проверяется и то и другое, потому что превышение любого приводит к сбою.
Точны ли числа?
Размеры окон опубликованные, с датой проверки. То, что вы вводите по частям, — ваша собственная оценка, поэтому относитесь к результату как к форме бюджета, а не к гарантии.
Что делать, когда не помещается?
Посмотрите, какая часть больше всех: почти всегда это история или найденные документы. Забирать меньше и пересказывать прежние ходы помогает намного сильнее, чем подрезать системный промпт.
Решает ли дело окно побольше?
Оно покупает место, а не эффективность. Всё в окне оплачивается на каждом запросе, поэтому разговор, заполняющий большое окно, стоит соответственно.

Связанные инструменты

Другие инструменты: ИИ и агенты

Все инструменты: ИИ и агенты · Все инструменты