Découpeur de texte

Découpez un document en morceaux chevauchants qui coupent là où le texte se divise vraiment.

Les documents sont découpés dans le navigateur. Rien n’est envoyé, quel que soit leur contenu.

Vérifier que les morceaux tiennent dans votre fenêtre

À propos de Découpeur de texte

Couper tous les N caractères est l'approche évidente et produit des morceaux qui ne veulent rien dire seuls : une phrase coupée en deux, un titre orphelin de ce qu'il introduisait. Ici, on coupe à la plus grande frontière structurelle qui tienne encore : titres, puis paragraphes, puis phrases, et seulement en plein mot quand une unité seule ne rentre pas du tout. Le chevauchement emporte une fin de chaque morceau dans le suivant, de sorte qu'un fait à cheval sur une frontière survit entier quelque part. Ce que coûte ce chevauchement s'affiche en pourcentage, car c'est une vraie duplication et mieux vaut la voir avant qu'elle ne devienne une facture d'embeddings.

Fonctionnalités

• Coupe aux titres, paragraphes ou phrases plutôt qu’à largeur fixe
• Découpe en phrases qui survit aux abréviations et aux initiales
• Unités trop grandes coupées à une frontière de mot, pas en plein mot
• Le chevauchement emporte du contexte dans le morceau suivant
• Rapporte le coût du chevauchement en pourcentage
• Note le titre sous lequel se trouve chaque morceau
• Distribution des tailles : plus petit, moyen, plus grand
• Export en JSONL avec titre et nombre de tokens par morceau

Comment utiliser Découpeur de texte

1. Déposez un document ou collez-le
2. Choisissez où couper
3. Réglez la taille cible et le chevauchement
4. Parcourez les morceaux et exportez en JSONL

Exemple

Entrée

## Eligibility\n\nAn order is eligible if…

Sortie

chunk 2 — under “Eligibility”, ≈58 tokens

Couper aux titres garde chaque section entière et étiquetée.

Erreurs courantes et dépannage

• Les morceaux sortent bien plus petits que la cible. — Une frontière structurelle est arrivée avant. Couper aux paragraphes ne fusionne pas deux paragraphes au-delà de la limite.
• Un morceau est bien plus gros que les autres. — Une unité seule plus grande que la cible est coupée à une frontière de mot, pas fusionnée. Un long tableau ou un bloc de code en est la cause habituelle.
• Le coût du chevauchement paraît élevé. — C’est une vraie duplication de tokens. Le chevauchement en vaut la peine, mais un dixième de la taille du morceau suffit généralement.
• Les phrases se coupent à des endroits étranges. — Abréviations et initiales sont gérées, mais une ponctuation inhabituelle peut encore tromper. Couper aux paragraphes élude la question.

Foire aux questions

Quelle taille pour les morceaux ?

Cela dépend de ce qui les lit. La recherche veut d’ordinaire des morceaux assez petits pour être précis et assez grands pour tenir seuls : quelques centaines de tokens est un point de départ courant.

Combien de chevauchement ?

Assez pour qu’une phrase à cheval sur une frontière apparaisse entière quelque part. Environ un dixième de la taille du morceau est typique ; le coût du surplus s’affiche en pourcentage.

À quelle frontière couper ?

Aux titres quand le document en a — chaque morceau couvre alors une section et porte son titre. Aux paragraphes pour de la prose ordinaire. Aux phrases pour un contrôle plus fin.

Quelle exactitude pour les comptes de tokens des morceaux ?

Ce sont des estimations par caractères avec un ratio ajustable, car le ratio varie selon la langue et l’écriture. Pour dimensionner, cela suffit ; pour facturer, comptez avec le tokeniseur du fournisseur.

Pourquoi chaque morceau note-t-il un titre ?

Parce qu’un morceau récupéré seul a perdu son contexte. Garder le titre fait arriver le texte avec une étiquette disant de quoi il parle.

Outils associés

• Planificateur de contexte — Répartissez la fenêtre entre prompt, outils, historique et réponse.
• Visionneuse et validateur JSONL — Lisez, filtrez et vérifiez un fichier JSONL ligne par ligne.
• Planificateur de cache — Ordonnez les blocs pour que le préfixe cachable soit le plus long possible.
• Compteur de tokens — Comptez les tokens pour GPT, Claude et Gemini au fil de la frappe.
• Validateur de jeux de données — Vérifiez un JSONL de chat pour les erreurs qui font échouer un entraînement.
• Générateur de lots — Transformez un tableau de lignes en travail par lots, avec des ids uniques.

Plus d’outils IA et agents

• Générateur de skills — Écrivez un SKILL.md dont le frontmatter est vérifié à la frappe.
• Linter de skills — Collez un SKILL.md et voyez ce qui empêche son association à une tâche.
• Générateur de sous-agents — Créez le fichier de définition d'un sous-agent, outils et modèle compris.
• Générateur de commandes — Créez une commande personnalisée, avec arguments et liste d'outils.
• Instructions du projet — Rédigez un CLAUDE.md qui mérite sa place dans chaque session.
• Manifeste de plugin — Générez un plugin.json et voyez l'arborescence qu'il suppose.
• Générateur de hooks — Créez des hooks settings.json et repérez les matchers qui ne se déclenchent jamais.
• Testeur de règles de permission — Testez les règles autoriser, demander et refuser sur de vraies commandes.
• Configuration de serveur MCP — Générez une entrée de serveur MCP pour stdio, HTTP ou SSE.
• Schéma d'outil MCP — Définissez un outil et obtenez le JSON Schema, mode strict vérifié.
• Vérificateur de schéma — Collez une définition et découvrez pourquoi elle est rejetée ou mal appelée.
• Remplissage de gabarits — Déployez un prompt sur un tableau de lignes et voyez ce qui manque.
• Linter de prompt système — Trouvez contradictions, instructions mortes et marqueurs non remplis.
• Comparateur de prompts — Comparez deux versions mot à mot, avec l'écart en tokens.
• Exemples few-shot — Transformez des paires entrée/sortie en exemples balisés, JSON ou chat.
• Sections XML du prompt — Enveloppez les sections dans des balises dont le contenu ne peut sortir.
• Visionneuse et validateur JSONL — Lisez, filtrez et vérifiez un fichier JSONL ligne par ligne.
• Convertisseur de transcriptions — Transformez un tableau de messages en transcription lisible, et l'inverse.
• Validateur de jeux de données — Vérifiez un JSONL de chat pour les erreurs qui font échouer un entraînement.
• Visionneuse de flux SSE — Collez une réponse en streaming et récupérez texte, appels et consommation.
• Planificateur de contexte — Répartissez la fenêtre entre prompt, outils, historique et réponse.
• Planificateur de cache — Ordonnez les blocs pour que le préfixe cachable soit le plus long possible.
• Coût d'une boucle d'agent — Chiffrez tour par tour, historique renvoyé et cache appliqué.
• Générateur de lots — Transformez un tableau de lignes en travail par lots, avec des ids uniques.

Voir tous les outils IA et agents · Tous les outils