ArrayKit ›AI・エージェント ›テキスト分割 テキスト分割 文章が実際に切れる場所で切る、重なりつきの断片に文書を分けます。
文書はブラウザー内で分割されます。中身が何であれ、送信されません。
断片がウィンドウに収まるか確かめる
テキスト分割 について N 文字ごとに切るのは思いつきやすい方法で、単独では意味をなさない断片を生みます。半分に切れた文、導いていた本文から切り離された見出し。ここでは、まだ収まる範囲でいちばん大きな構造の切れ目で切ります。見出し、次に段落、次に文。単位そのものが収まらないときに限って語の途中で切ります。重なりが各断片の末尾を次へ運ぶので、切れ目をまたぐ事実もどこかに丸ごと残ります。その重なりの費用は割合で表示します。本物の重複であり、埋め込みの請求書になる前に見ておく価値があるからです。
機能 固定幅ではなく見出し・段落・文で切ります 略語や頭文字に耐える文の分割 大きすぎる単位は語の途中ではなく語境界で切ります 重なりが文脈を次の断片へ運びます 重なりの費用を割合で報告 各断片が属する見出しを記録 サイズの分布：最小・平均・最大 見出しとトークン数つきの JSONL として書き出し テキスト分割 の使い方 文書を置くか、貼り付けます どこで切るかを選びます 目標の大きさと重なりを設定します 断片を確認し、JSONL として書き出します 例 入力
## Eligibility\n\nAn order is eligible if…出力
chunk 2 — under “Eligibility”, ≈58 tokens見出しで切ると、各節が丸ごと、見出し付きで残ります。
よくあるエラーとトラブルシューティング 断片が目標よりずっと小さい。 — 構造の切れ目が先に来ています。段落で切る設定では、上限を超えて二つの段落を結合することはありません。一つだけ極端に大きい断片がある。 — 目標より大きい単一の単位は、結合ではなく語境界で切られます。長い表やコードブロックが定番の原因です。重なりの費用が高く見える。 — 実際にトークンが重複しています。重なりには意味がありますが、断片の大きさの十分の一もあれば十分なことがほとんどです。文が変な位置で切れる。 — 略語や頭文字は扱いますが、珍しい約物にはまだ引っかかります。段落で切ればこの問題は起きません。よくある質問 断片はどのくらいの大きさが良いですか。 何が読むかによります。検索用途では、具体的であるくらい小さく、単独で意味が通るくらい大きいものが望まれます。数百トークンが出発点としてよく使われ、そこから実際の質問で調整します。 重なりはどのくらい必要ですか。 切れ目をまたぐ文がどこかに丸ごと現れる程度です。断片の大きさの十分の一ほどが典型で、それ以上の費用は割合で表示されるので、兼ね合いが目に見えます。 どの切れ目で切るべきですか。 見出しがある文書なら見出しで。各断片が一つの節を覆い、見出しも一緒に持ちます。ふつうの散文なら段落で。細かい制御が要り、段落構造を諦められるなら文で。 断片のトークン数はどのくらい正確ですか。 文字数に基づく見積りで、比率は調整できます。比率は言語と文字体系で変わるからです。大きさを決めるには十分です。請求のためには提供元のトークナイザーで数えてください。 なぜ各断片が見出しを記録するのですか。 単独で取り出された断片は文脈を失っているからです。見出しを残せば、その文章が何についてのものかというラベルとともに届きます。 関連ツール AI・エージェントの他のツール AI・エージェントのツールをすべて見る · すべてのツール