Alle N Zeichen zu schneiden ist der naheliegende Weg und erzeugt Stücke, die allein nichts bedeuten: ein halbierter Satz, eine Überschrift ohne das, was sie einleitete. Hier wird an der größten Strukturgrenze getrennt, die noch passt: Überschriften, dann Absätze, dann Sätze — und erst mitten im Wort, wenn eine einzelne Einheit gar nicht passt. Die Überlappung trägt ein Ende jedes Stücks ins nächste, sodass eine Tatsache über eine Grenze hinweg irgendwo ganz überlebt. Was diese Überlappung kostet, erscheint als Prozentwert, denn es ist echte Verdopplung und sollte sichtbar sein, bevor daraus eine Embedding-Rechnung wird.
Funktionen
Trennt an Überschriften, Absätzen oder Sätzen statt an fester Breite
Satztrennung, die Abkürzungen und Initialen übersteht
Zu große Einheiten an einer Wortgrenze getrennt, nicht mitten im Wort
Die Überlappung trägt Kontext ins nächste Stück
Meldet die Kosten der Überlappung als Prozentwert
Vermerkt die Überschrift, unter der ein Stück steht
Größenverteilung: kleinstes, mittleres, größtes
Export als JSONL mit Überschrift und Tokenzahl je Stück
So verwendest du Text-Chunker
Legen Sie ein Dokument ab oder fügen Sie es ein
Wählen Sie, woran getrennt wird
Setzen Sie Zielgröße und Überlappung
Gehen Sie die Stücke durch und exportieren Sie als JSONL
Beispiel
Eingabe
## Eligibility\n\nAn order is eligible if…
Ausgabe
chunk 2 — under “Eligibility”, ≈58 tokens
An Überschriften zu trennen hält jeden Abschnitt ganz und beschriftet.
Häufige Fehler & Fehlerbehebung
Die Stücke sind viel kleiner als die Zielgröße. — Eine Strukturgrenze kam zuerst. Trennen an Absätzen führt zwei Absätze nicht über das Limit hinaus zusammen.
Ein Stück ist viel größer als die übrigen. — Eine einzelne Einheit über der Zielgröße wird an einer Wortgrenze getrennt, nicht zusammengeführt. Meist eine lange Tabelle oder ein Codeblock.
Die Überlappungskosten wirken hoch. — Es ist echte Token-Verdopplung. Überlappung lohnt sich, aber ein Zehntel der Stückgröße genügt meist.
Sätze trennen an seltsamen Stellen. — Abkürzungen und Initialen werden behandelt, ungewöhnliche Zeichensetzung kann es dennoch täuschen. Absatzgrenzen umgehen die Frage ganz.
Häufig gestellte Fragen
Wie groß sollten Stücke sein?
Das hängt davon ab, was sie liest. Retrieval will meist Stücke, die klein genug sind, um spezifisch zu sein, und groß genug, um allein zu stehen: ein paar hundert Token sind ein üblicher Startpunkt.
Wie viel Überlappung brauche ich?
Genug, dass ein Satz über eine Grenze irgendwo ganz auftaucht. Etwa ein Zehntel der Stückgröße ist typisch; die Kosten von mehr erscheinen als Prozentwert.
An welcher Grenze soll ich trennen?
An Überschriften, wenn das Dokument welche hat — dann deckt jedes Stück einen Abschnitt ab und trägt dessen Titel. An Absätzen bei gewöhnlicher Prosa. An Sätzen, wenn Sie feinere Kontrolle brauchen.
Wie genau sind die Tokenzahlen der Stücke?
Es sind zeichenbasierte Schätzungen mit anpassbarem Verhältnis, weil das Verhältnis je nach Sprache und Schrift variiert. Zum Dimensionieren genügt das; zum Abrechnen zählen Sie mit dem Tokenizer des Anbieters.
Warum vermerkt jedes Stück eine Überschrift?
Weil ein allein abgerufenes Stück seinen Kontext verloren hat. Die Überschrift zu behalten heißt, dass der Text mit einer Angabe ankommt, worum es geht.
Verwandte Tools
Kontextfenster-Planer — Teilen Sie das Fenster auf Prompt, Tools, Verlauf und Antwort auf.