Пакетная обработка — самый дешёвый способ прогнать один промпт по множеству строк, примерно вдвое дешевле интерактивной цены, и требуемый ею файл беспощаден ровно в одном: результаты возвращаются в том порядке, в каком завершаются. Собственный идентификатор — единственное, что связывает результат со строкой, из которой он вышел, поэтому повтор идентификатора означает два неразличимых результата — молча и уже после того, как задание отработало. Здесь шаблон разворачивается по строкам, идентификатор берётся из столбца или создаётся, повторы переименовываются, а не сталкиваются, и объём задания измеряется, чтобы вы знали, что отправляете.
Возможности
По запросу на строку, из шаблона и таблицы
Идентификатор из выбранного вами столбца либо созданный
Повторяющиеся идентификаторы переименовываются, а не сталкиваются
Идентификаторы приводятся к символам, допустимым в поле
Построчно предупреждает, когда у плейсхолдера не нашлось значения
Объём задания: число запросов, оценка токенов и размер файла
Выдаёт и тело запроса, и те же запросы в JSONL
Делит слишком большое задание и показывает, как его отправить
Как использовать Конструктор пакетных запросов
Вставьте шаблон промпта и строки
Выберите модель и предел токенов на запрос
Выберите столбец для идентификатора
Скачайте тело запроса и отправьте его
Пример
Ввод
"custom_id": "Acme-Ltd"
Результат
Row 2 repeats the id “Acme-Ltd”; renamed to “Acme-Ltd-2”
Результаты приходят вразнобой, и идентификатор — единственный путь назад к строке.
Частые ошибки и устранение неполадок
Не могу сопоставить результаты со строками. — Ключуйтесь по идентификатору, а не по позиции: результаты возвращаются в порядке завершения. Именно поэтому повторы здесь переименовываются.
Отправку отклоняют. — Точка доступа принимает тело JSON с массивом requests, а не файл JSONL. Выдаётся и то и другое; отправляйте .json.
В промпте остался буквальный плейсхолдер. — У этой строки для него не нашлось значения. Все затронутые строки перечисляются, с именем плейсхолдера.
Задание слишком велико. — Разделите его. Файлы не более чем на десять тысяч запросов предлагаются автоматически, как только число превышено.
Часто задаваемые вопросы
Почему пакетная обработка дешевле?
Потому что она не интерактивна. Работа ставится в очередь и выполняется, когда есть мощности, а это куда проще планировать, — отсюда примерно половинная цена. Меняете вы задержку, а не качество.
Для чего нужен собственный идентификатор?
Чтобы сопоставлять результаты со входами. Результаты приходят в порядке завершения, а не отправки, поэтому идентификатор — единственная надёжная связь со строкой-источником.
Что будет, если у двух строк один идентификатор?
В настоящем задании — два неразличимых результата. Здесь повтор переименовывается и отмечается, и узнать об этом сейчас куда лучше.
Зачем вывод JSONL, если точка доступа принимает JSON?
Для построчных инструментов: разделить большое задание, сравнить две версии, отдать другому исполнителю. Отправляется именно тело JSON.
Как выбрать max_tokens?
Достаточно большим, чтобы ни один ответ не обрезался: обрезанный результат придётся переделывать. Показанный потолок предполагает, что каждый запрос выберет всю квоту, — это худший случай, а не оценка.