Цикл агента не стоит «один вызов, умноженный на число ходов», и разница немаленькая. API не хранит состояния, поэтому каждый ход переотправляет всё предыдущее: системный промпт, определения инструментов и каждое сообщение вместе с результатом инструмента. Восьмой ход отправляет всё, что отправили ходы с первого по седьмой, плюс то, что они произвели. Из-за этого стоимость растёт как квадрат разговора, а не как его длина, — поэтому циклы, кажущиеся дешёвыми на пробе, таковыми не являются. Здесь цикл проходится по ходам, кэш применяется там, где он работает, и называется ход, на котором окно переполняется.
Возможности
Каждый ход оценивается отдельно, вместе с переотправляемой историей
Кэш применяется только к фиксированному префиксу — это честная модель
Тот же цикл оценивается без кэша, для сравнения
Считает токены, переотправляемые лишь из-за отсутствия состояния
Называет ход, на котором переполняется контекстное окно
Пакетный тариф переключателем
Столбчатая диаграмма по ходам, чтобы рост был виден
Ставки с датой проверки
Как использовать Стоимость цикла агента
Выберите модель и ожидаемое число ходов
Введите фиксированный префикс, размеры вывода и результатов инструментов
Задайте реалистичную долю попаданий в кэш
Прочтите итог, экономию и точку переполнения
Пример
Ввод
8 turns, 4K prefix, 1.5K tool results
Результат
Turn 8 sends 19.4K tokens — turn 1 sent 4.5K
Растёт история, а не работа.
Частые ошибки и устранение неполадок
Мой реальный счёт больше. — Обычно виноваты результаты инструментов: это самый крупный и самый непредсказуемый вход. Возьмите размер худшего результата, а не типичного.
Экономия на кэше выглядит слишком хорошей. — Кэшируемым считается только фиксированный префикс, а это уже консервативное допущение. Если ваш префикс меняется между ходами, понизьте долю попаданий.
Пишет, что окно переполняется. — Разговор перерастает модель до конца цикла. Сжатие, редактирование контекста или уменьшение результатов инструментов — средства именно в этом порядке действенности.
Откуда мне знать свои размеры в токенах? — Измерьте один настоящий ход счётчиком токенов и возьмите эти числа. Форма ответа важнее точности.
Часто задаваемые вопросы
Почему цикл дороже той же работы одним вызовом?
Потому что весь разговор переотправляется каждый ход. Десять ходов — это не десять вызовов входа, а сумма растущего разговора; поэтому кривая стоимости и загибается вверх.
Что сильнее всего гонит стоимость?
Размер результатов инструментов, обычно с большим отрывом. Выходные токены дороже за штуку, но их куда меньше; болтливый инструмент, возвращающий страницу JSON каждый ход, и превращает дешёвый цикл в дорогой.
Реалистична ли доля попаданий 90%?
Для стабильного системного промпта и фиксированного списка инструментов — да. Если в префиксе есть что-то, меняющееся от запроса к запросу, она ближе к нулю; выяснить это помогает планировщик кэша.
Стоит ли брать пакетный тариф?
Только если работа не интерактивна. Он вдвое сокращает счёт и отнимает возможность вмешаться, что подходит для оценок и массовой обработки, а не для агента, которого кто-то ждёт.
Насколько это точно?
Это модель, а не смета. Она верно передаёт форму — рост, действие кэша, точку переполнения — из ваших чисел. Опубликованные цены меняются, поэтому дата проверки стоит рядом.
Связанные инструменты
Планировщик кэша — Упорядочьте блоки так, чтобы кэшируемый префикс был как можно длиннее.
Планировщик контекста — Распределите окно между промптом, инструментами, историей и ответом.