Validateur de jeux d’ajustement

Vérifiez un jeu de données de chat pour les erreurs qui font échouer un entraînement en cours.

Les données d’entraînement sont lues dans le navigateur. Rien n’est envoyé et rien ne subsiste après la fermeture.

Parcourir le fichier enregistrement par enregistrement

À propos de Validateur de jeux de données

Un entraînement échoue sur le premier enregistrement malformé, et il le trouve généralement une fois que vous êtes rentré. Les vérifications qui valent la peine avant sont peu spectaculaires et rapides : chaque enregistrement un objet avec un tableau de messages, chaque message porteur d'un rôle et d'un contenu, la conversation commençant où il faut et — celle qu'on oublie — se terminant par un message de l'assistant, car c'est le tour que l'enregistrement enseigne. Deux messages utilisateur consécutifs sont aussi signalés, car ils signifient souvent que deux enregistrements ont fusionné. À côté des erreurs, la distribution des tailles montre la queue qui ne tiendra pas avant qu'elle ne devienne la raison de l'arrêt.

Fonctionnalités

• Chaque constat signalé à la ligne dont il provient
• Vérifie que chaque enregistrement s’analyse, et continue au-delà des autres
• Rôles vérifiés contre l’ensemble connu, les inhabituels signalés
• Attrape un enregistrement qui ne finit pas par un message d’assistant
• Attrape deux tours consécutifs du même côté
• Attrape un contenu vide, qui valide et n’enseigne rien
• Distribution des tailles : médiane, 90e centile et maximum
• Clé de messages configurable pour les formats qui la nomment autrement

Comment utiliser Validateur de jeux de données

1. Déposez le jeu .jsonl ou collez-le
2. Ajustez la clé de messages si votre format diffère
3. Corrigez les erreurs, puis regardez les avertissements
4. Comparez la distribution des tailles à votre limite de contexte

Exemple

Entrée

line 3: two user messages in a row

Sortie

Records: 3 · Errors: 0 · Warnings: 1

Signe habituel que deux enregistrements ont fusionné par accident.

Erreurs courantes et dépannage

• Un enregistrement ne finit pas par un message d’assistant. — Cet enregistrement n’a rien à enseigner : le tour final de l’assistant est la cible. D’où une erreur et non un avertissement.
• Le tableau de messages est introuvable. — Réglez la clé de messages sur le nom qu’emploie votre format. Conversation et turns sont tous deux courants.
• Deux messages utilisateur consécutifs sont signalés. — Souvent deux enregistrements concaténés par erreur. Si le tour doublé est délibéré, c’est un avertissement et non une erreur.
• Certains enregistrements sont énormes. — Les centiles montrent la queue. Tout ce qui dépasse la limite de contexte échouera, et le découvrir ici coûte bien moins qu’en plein entraînement.

Foire aux questions

Quel format est attendu ?

Le format chat : un objet JSON par ligne, chacun avec un tableau de messages formés d’un rôle et d’un contenu. Le nom de la clé est configurable, mais la forme intérieure est la même partout.

Pourquoi un enregistrement doit-il finir par un message d’assistant ?

Parce que ce tour est ce que l’enregistrement enseigne. Une conversation qui finit par un message utilisateur a une question et aucune réponse : il n’y a rien à apprendre.

Les comptes de tokens sont-ils exacts ?

Non, ce sont des estimations par caractères. Elles servent à repérer la valeur aberrante qui ne tiendra pas, ce qui n’exige pas de précision : le compte exact vient du tokeniseur du fournisseur.

Un résultat propre signifie-t-il de bonnes données ?

Il signifie que le fichier est bien formé. Savoir si les exemples enseignent la bonne chose est une question sur vos données, à laquelle aucun validateur ne répond.

Mon jeu de données est-il envoyé ?

Non. Les données d’entraînement sont généralement le fichier le plus sensible d’une équipe, et tout cela tourne dans le navigateur.

Outils associés

• Visionneuse et validateur JSONL — Lisez, filtrez et vérifiez un fichier JSONL ligne par ligne.
• Convertisseur de transcriptions — Transformez un tableau de messages en transcription lisible, et l'inverse.
• Générateur de lots — Transformez un tableau de lignes en travail par lots, avec des ids uniques.
• Découpeur de texte — Découpez un document en morceaux chevauchants qui coupent aux vraies frontières.
• Planificateur de contexte — Répartissez la fenêtre entre prompt, outils, historique et réponse.
• Remplissage de gabarits — Déployez un prompt sur un tableau de lignes et voyez ce qui manque.

Plus d’outils IA et agents

• Générateur de skills — Écrivez un SKILL.md dont le frontmatter est vérifié à la frappe.
• Linter de skills — Collez un SKILL.md et voyez ce qui empêche son association à une tâche.
• Générateur de sous-agents — Créez le fichier de définition d'un sous-agent, outils et modèle compris.
• Générateur de commandes — Créez une commande personnalisée, avec arguments et liste d'outils.
• Instructions du projet — Rédigez un CLAUDE.md qui mérite sa place dans chaque session.
• Manifeste de plugin — Générez un plugin.json et voyez l'arborescence qu'il suppose.
• Générateur de hooks — Créez des hooks settings.json et repérez les matchers qui ne se déclenchent jamais.
• Testeur de règles de permission — Testez les règles autoriser, demander et refuser sur de vraies commandes.
• Configuration de serveur MCP — Générez une entrée de serveur MCP pour stdio, HTTP ou SSE.
• Schéma d'outil MCP — Définissez un outil et obtenez le JSON Schema, mode strict vérifié.
• Vérificateur de schéma — Collez une définition et découvrez pourquoi elle est rejetée ou mal appelée.
• Remplissage de gabarits — Déployez un prompt sur un tableau de lignes et voyez ce qui manque.
• Linter de prompt système — Trouvez contradictions, instructions mortes et marqueurs non remplis.
• Comparateur de prompts — Comparez deux versions mot à mot, avec l'écart en tokens.
• Exemples few-shot — Transformez des paires entrée/sortie en exemples balisés, JSON ou chat.
• Sections XML du prompt — Enveloppez les sections dans des balises dont le contenu ne peut sortir.
• Visionneuse et validateur JSONL — Lisez, filtrez et vérifiez un fichier JSONL ligne par ligne.
• Convertisseur de transcriptions — Transformez un tableau de messages en transcription lisible, et l'inverse.
• Visionneuse de flux SSE — Collez une réponse en streaming et récupérez texte, appels et consommation.
• Planificateur de contexte — Répartissez la fenêtre entre prompt, outils, historique et réponse.
• Planificateur de cache — Ordonnez les blocs pour que le préfixe cachable soit le plus long possible.
• Découpeur de texte — Découpez un document en morceaux chevauchants qui coupent aux vraies frontières.
• Coût d'une boucle d'agent — Chiffrez tour par tour, historique renvoyé et cache appliqué.
• Générateur de lots — Transformez un tableau de lignes en travail par lots, avec des ids uniques.

Voir tous les outils IA et agents · Tous les outils