Le traitement par lot est le moyen le moins cher de faire tourner un prompt sur de nombreuses lignes, à environ la moitié du prix interactif, et le fichier qu'il réclame est impitoyable sur un point : les résultats reviennent dans l'ordre où ils s'achèvent. L'identifiant personnalisé est la seule chose qui relie un résultat à sa ligne d'origine : un identifiant en double, ce sont deux résultats indiscernables — silencieusement, une fois le travail exécuté. Ici votre modèle est déployé sur les lignes, un identifiant est tiré d'une colonne ou généré, les doublons sont renommés plutôt que laissés entrer en collision, et le travail est dimensionné pour que vous sachiez ce que vous soumettez.
Fonctionnalités
Une requête par ligne, depuis un modèle et un tableau
Identifiant tiré de la colonne de votre choix, ou généré
Identifiants en double renommés plutôt que laissés en collision
Identifiants assainis aux caractères admis par le champ
Avertit par ligne quand un marqueur n’avait pas de valeur
Taille du travail : nombre de requêtes, tokens estimés et poids
Produit le corps de requête et les mêmes requêtes en JSONL
Découpe un travail trop grand et montre comment le soumettre
Comment utiliser Générateur de lots
Collez le modèle de prompt et les lignes
Choisissez le modèle et la limite de tokens par requête
Choisissez la colonne qui devient l’identifiant
Téléchargez le corps de requête et soumettez-le
Exemple
Entrée
"custom_id": "Acme-Ltd"
Sortie
Row 2 repeats the id “Acme-Ltd”; renamed to “Acme-Ltd-2”
Les résultats arrivent en désordre : l’identifiant est le seul chemin vers la ligne.
Erreurs courantes et dépannage
Je n’arrive pas à rattacher les résultats aux lignes. — Indexez sur l’identifiant, jamais sur la position : les résultats reviennent dans l’ordre d’achèvement. C’est pourquoi les doublons sont renommés ici.
La soumission est refusée. — Le point d’accès attend un corps JSON avec un tableau requests, pas le fichier JSONL. Les deux sont produits ; soumettez le .json.
Un prompt contient un marqueur littéral. — Cette ligne n’avait pas de valeur pour lui. Toutes les lignes concernées sont listées, avec le marqueur nommé.
Le travail est trop grand. — Découpez-le. Des fichiers d’au plus dix mille requêtes sont proposés automatiquement au-delà.
Foire aux questions
Pourquoi le traitement par lot est-il moins cher ?
Parce qu’il n’est pas interactif. Le travail est mis en file et s’exécute quand il y a de la capacité, chose bien plus facile à planifier, d’où un tarif d’environ la moitié. Ce qu’on échange, c’est de la latence, pas de la qualité.
À quoi sert l’identifiant personnalisé ?
À rattacher les résultats aux entrées. Les résultats arrivent dans l’ordre d’achèvement et non de soumission : l’identifiant est le seul lien fiable vers la ligne d’origine.
Que se passe-t-il si deux lignes partagent un identifiant ?
Dans un vrai travail : deux résultats indiscernables. Ici le doublon est renommé et signalé, moment bien plus opportun pour l’apprendre.
À quoi sert la sortie JSONL si le point d’accès attend du JSON ?
Aux outils orientés lignes : découper un gros travail, comparer deux versions, alimenter un autre exécuteur. C’est le corps JSON que l’on soumet.
Comment choisir max_tokens ?
Assez haut pour qu’aucune réponse ne soit tronquée, car un résultat tronqué est à refaire. Le plafond affiché suppose que chaque requête consomme tout son quota : c’est un pire cas, pas une estimation.
Outils associés
Remplissage de gabarits — Déployez un prompt sur un tableau de lignes et voyez ce qui manque.