文本切分

把文档切成带重叠的片段，断点落在文字真正分开的地方。

文档在浏览器里切分。无论内容是什么，都不会上传。

检查这些片段是否装得进你的窗口

关于 文本切分

每 N 个字符切一刀是最顺手的做法，产出的却是单独看毫无意义的片段：被拦腰截断的句子、和它所引出的正文分了家的标题。这里会在仍然装得下的前提下，按最大的结构边界断开：先标题，再段落，再句子，只有当单个单元怎么都装不下时才从词中间切。重叠会把每个片段的尾巴带进下一个，所以跨过边界的事实总能在某处保持完整。这份重叠的代价会以百分比显示，因为那是实打实的重复，值得在它变成一张嵌入账单之前先看见。

功能特性

• 按标题、段落或句子断开，而不是按固定宽度
• 句子切分能扛住缩写和姓名首字母
• 过大的单元在词边界处切开，而不是从词中间
• 重叠把上下文带进下一个片段
• 以百分比报告重叠的代价
• 记录每个片段所属的标题
• 规模分布：最小、平均与最大
• 导出为带标题与 token 数的 JSONL

如何使用 文本切分

1. 拖入文档或粘贴内容
2. 选择在哪里断开
3. 设定目标大小和重叠量
4. 翻看各个片段，然后导出为 JSONL

示例

输入

## Eligibility\n\nAn order is eligible if…

输出

chunk 2 — under “Eligibility”, ≈58 tokens

按标题断开，每一节都完整并带着自己的标题。

常见错误与故障排除

• 片段比目标小得多。 — 先撞上了结构边界。按段落断开不会为了凑数把两个段落合并到超过上限。
• 有一个片段比其他大得多。 — 大于目标的单个单元会在词边界处切开，而不是合并。长表格或代码块是常见原因。
• 重叠的代价看着很高。 — 那是实打实的 token 重复。重叠有价值，但通常片段大小的十分之一就够了。
• 句子在奇怪的地方断开。 — 缩写和姓名首字母都处理了，但不常见的标点仍可能把它带偏。按段落断开可以彻底绕开这个问题。

常见问题

片段该多大？

取决于谁来读。检索场景通常希望片段小到足够具体、大到能独立成立：几百个 token 是常见的起点，之后再拿真实问题去调。

需要多少重叠？

够让跨边界的句子在某处完整出现即可。片段大小的十分之一是典型值；再多的代价会以百分比显示，取舍看得见。

该按哪种边界断开？

文档有标题就按标题——这样每个片段覆盖一节，还带着自己的标题。普通散文按段落。需要更细的控制、也能接受失去段落结构时按句子。

片段的 token 数有多准？

是基于字符数、比例可调的估算，因为这个比例随语言和文字体系而变。用来确定大小足够了；要计费请用供应方的分词器。

为什么每个片段都记标题？

因为被单独取出来的片段已经失去了上下文。保留标题意味着这段文字带着"它讲的是什么"的标签一起到达。

相关工具

• 上下文窗口规划 — 在提示、工具、历史与回复之间分配上下文窗口。
• JSONL 查看与校验 — 逐行读取、筛选并检查 JSONL 文件。
• 提示缓存规划 — 重排请求的各块，让可缓存前缀尽可能长。
• Token 计数器 — 为 GPT、Claude 和 Gemini 计数 token，在你键入时实时更新。
• 微调数据集校验 — 检查 chat 格式 JSONL，找出会中断训练的错误。
• 批量请求构建器 — 把表格转成批量任务，每条请求都有唯一 id。

更多AI 与智能体工具

• 技能构建器 — 编写 SKILL.md，边输入边检查 frontmatter。
• 技能检查器 — 粘贴 SKILL.md，看清是什么让它无法与任务匹配。
• 子代理构建器 — 生成子代理定义文件，含工具与模型设置。
• 斜杠命令构建器 — 构建自定义命令，带参数与工具白名单。
• 项目说明构建器 — 写一份对得起每次请求开销的 CLAUDE.md。
• 插件清单构建器 — 生成 plugin.json，并查看它所预设的目录结构。
• 钩子构建器 — 构建 settings.json 钩子，找出永远不会触发的匹配式。
• 权限规则测试器 — 用真实命令测试允许、询问与拒绝规则。
• MCP 服务器配置 — 为 stdio、HTTP 或 SSE 生成 MCP 服务器条目。
• MCP 工具模式构建器 — 定义工具并得到 JSON Schema，严格模式一并校验。
• 工具模式校验器 — 粘贴工具定义，查清它为何被拒绝或被错误调用。
• 提示模板填充 — 把一条提示展开到整张表格，并看清缺了哪些值。
• 系统提示检查器 — 找出自相矛盾、无效指令与未替换的占位符。
• 提示差异比较 — 逐词比较两个提示版本，并给出 token 差额。
• 少样本示例构建器 — 把输入输出对转成带标签、JSON 或对话格式的示例。
• XML 提示分节构建器 — 用内容无法越出的标签包裹提示的各个部分。
• JSONL 查看与校验 — 逐行读取、筛选并检查 JSONL 文件。
• 对话记录转换 — 把消息数组转成可读记录，也能转回去。
• 微调数据集校验 — 检查 chat 格式 JSONL，找出会中断训练的错误。
• SSE 流查看器 — 粘贴原始流式响应，取回正文、工具调用与用量。
• 上下文窗口规划 — 在提示、工具、历史与回复之间分配上下文窗口。
• 提示缓存规划 — 重排请求的各块，让可缓存前缀尽可能长。
• 代理循环成本估算 — 逐轮估算成本，计入重发的历史与缓存。
• 批量请求构建器 — 把表格转成批量任务，每条请求都有唯一 id。

查看全部AI 与智能体工具 · 全部工具