Stapelverarbeitung ist der billigste Weg, einen Prompt über viele Zeilen laufen zu lassen — etwa zum halben interaktiven Preis — und die verlangte Datei ist in genau einem Punkt unnachgiebig: Die Ergebnisse kommen in der Reihenfolge zurück, in der sie fertig werden. Die eigene ID ist das Einzige, was ein Ergebnis an seine Zeile bindet, also bedeutet eine doppelte ID zwei ununterscheidbare Ergebnisse — still und nachdem der Auftrag gelaufen ist. Hier wird Ihre Vorlage über die Zeilen ausgerollt, eine ID aus einer Spalte abgeleitet oder erzeugt, Duplikate werden umbenannt statt kollidieren gelassen, und der Auftrag wird bemessen, damit Sie wissen, was Sie abschicken.
Funktionen
Eine Anfrage je Zeile, aus Vorlage und Tabelle
Eigene ID aus der Spalte Ihrer Wahl oder erzeugt
Doppelte IDs umbenannt statt kollidieren gelassen
IDs auf die erlaubten Zeichen bereinigt
Warnt je Zeile, wenn ein Platzhalter keinen Wert hatte
Auftragsgröße: Anzahl, geschätzte Token und Dateigröße
Gibt den Anfragekörper und dieselben Anfragen als JSONL aus
Teilt einen zu großen Auftrag und zeigt, wie er abgeschickt wird
So verwendest du Batch-Anfragen-Builder
Fügen Sie Vorlage und Zeilen ein
Wählen Sie Modell und Tokenlimit je Anfrage
Wählen Sie die Spalte für die eigene ID
Laden Sie den Anfragekörper und schicken Sie ihn ab
Beispiel
Eingabe
"custom_id": "Acme-Ltd"
Ausgabe
Row 2 repeats the id “Acme-Ltd”; renamed to “Acme-Ltd-2”
Ergebnisse kommen unsortiert, die ID ist der einzige Weg zurück zur Zeile.
Häufige Fehler & Fehlerbehebung
Ich kann Ergebnisse den Zeilen nicht zuordnen. — Schlüsseln Sie über die eigene ID, nie über die Position — Ergebnisse kommen in Fertigstellungsreihenfolge. Deshalb werden Duplikate hier umbenannt.
Die Einreichung wird abgelehnt. — Der Endpunkt nimmt einen JSON-Körper mit einem requests-Array, nicht die JSONL-Datei. Beides wird erzeugt; schicken Sie die .json.
Ein Prompt enthält einen wörtlichen Platzhalter. — Diese Zeile hatte keinen Wert dafür. Alle betroffenen Zeilen werden mit dem Platzhalter gelistet.
Der Auftrag ist zu groß. — Teilen Sie ihn. Dateien mit höchstens zehntausend Anfragen werden automatisch angeboten, sobald die Zahl das überschreitet.
Häufig gestellte Fragen
Warum ist Stapelverarbeitung billiger?
Weil sie nicht interaktiv ist. Die Arbeit wird eingereiht und läuft, wenn Kapazität da ist — viel leichter zu planen, deshalb etwa der halbe Preis. Getauscht wird Latenz, nicht Qualität.
Wofür ist die eigene ID?
Zum Zuordnen von Ergebnissen zu Eingaben. Ergebnisse kommen in Fertigstellungs- statt Einreichungsreihenfolge, also ist die ID die einzige verlässliche Verbindung zur Ursprungszeile.
Was passiert, wenn zwei Zeilen dieselbe ID haben?
In einem echten Auftrag: zwei ununterscheidbare Ergebnisse. Hier wird das Duplikat umbenannt und markiert — ein weit besserer Zeitpunkt, das zu erfahren.
Wofür die JSONL-Ausgabe, wenn der Endpunkt JSON nimmt?
Für zeilenorientierte Werkzeuge: einen großen Auftrag teilen, zwei Fassungen vergleichen oder einen anderen Runner füttern. Abgeschickt wird der JSON-Körper.
Wie wähle ich max_tokens?
Hoch genug, dass keine Antwort abgeschnitten wird, denn ein abgeschnittenes Ergebnis muss wiederholt werden. Die gezeigte Obergrenze nimmt an, dass jede Anfrage ihr volles Kontingent nutzt — ein Worst Case, keine Schätzung.
Verwandte Tools
Prompt-Vorlagen füllen — Entfalten Sie einen Prompt über eine Zeilentabelle und sehen Sie Lücken.