Кэширование — это совпадение по префиксу, и один этот факт решает всё. Первый изменившийся байт делает недействительным каждый байт после него: значит, одна изменчивая строка — метка времени, идентификатор запроса, вопрос пользователя, — поставленная перед двадцатью пятью тысячами стабильных токенов, означает, что ни один из них не кэшируется. Исправление всегда одной формы: стабильное вперёд, изменчивое в конец. Неочевидна цена ошибки, поэтому здесь ей и присваивается число. Введите блоки запроса с частотой их изменения — инструмент упорядочит их, измерит префикс и оценит разницу на том количестве запросов, которое вы делаете.
Возможности
Блоки упорядочены так, чтобы префикс был максимальным
Называет стабильные блоки, застрявшие позади изменчивых
Измеряет кэшируемый префикс и часть, оплачиваемую каждый раз
Предупреждает, когда префикс ниже минимума и молча не кэшируется
Оценивает разницу на серии запросов
Отмечает изредка меняющиеся блоки — они обнуляют всё после себя
Ставки чтения из кэша по моделям, с датой проверки
Размеры блоков редактируемы под ваш запрос
Как использовать Планировщик кэша
Перечислите блоки запроса с их размерами
Отметьте, как часто меняется каждый
Прочтите рекомендованный порядок и экономию
Перенесите точку кэширования в конец стабильного префикса
Пример
Ввод
User question (300) sent first
Результат
29,500 stable tokens cannot be cached
Изменчивый блок впереди обнуляет всё, что за ним.
Частые ошибки и устранение неполадок
Доля попаданий нулевая. — Что-то изменчивое попало в префикс. Метка времени, идентификатор запроса или список инструментов без устойчивого порядка — каждого хватит по отдельности.
Префикс ниже минимума. — Короткие префиксы не кэшируются вовсе, и об этом не сообщают. Либо увеличивайте префикс, либо принимайте, что кэш не сработает.
Кэшируется то так, то эдак. — Обычно изредка меняющийся блок стоит слишком рано. Каждое изменение обнуляет всё после него, поэтому изредка — это изредка полный тариф.
Перестановка изменит смысл. — Тогда это настоящий компромисс. То, что должно остаться на месте, — ограничение; инструмент показывает цену, чтобы решение было осознанным.
Часто задаваемые вопросы
Как на самом деле работает кэширование промпта?
Запрос сопоставляется с кэшированным по префиксу. Всё до первого расхождения выдаётся из кэша за долю цены; всё после оплачивается полностью. Поэтому порядок и решает всё.
Что молча обнуляет кэш?
Всё, что меняет байты рано: метка времени в системном промпте, идентификатор запроса, список инструментов из неупорядоченной структуры, поле на пользователя. Ни одно не даёт ошибки — просто падает доля попаданий.
Почему есть минимальный префикс?
Ниже зависящего от модели размера кэширование не применяется вовсе. Оно отказывает молча, так что небольшой системный промпт, который вы считали кэшируемым, мог не кэшироваться никогда.
Куда ставить точку кэширования?
В конец последнего стабильного блока. Всё до неё переиспользуется, всё после — новое каждый раз; именно такой срез и даёт здешнее упорядочивание.
Всегда ли кэширование выгодно?
Когда большой префикс действительно переиспользуется — да: ставка чтения составляет долю от входной. Выкручивать запрос, у которого стабильного префикса и нет, не стоит; именно об этом и говорит здешняя ошибка.