微调数据集校验

检查对话数据集，找出那些会让训练跑到一半才失败的错误。

训练数据在浏览器里读取。不会上传，关闭页面后也不留存。

逐条翻看这个文件

关于 微调数据集校验

训练会在第一条畸形记录上失败，而且通常等你回了家才找到它。事先值得做的检查都不起眼、也很快：每条记录是一个带 messages 数组的对象、每条消息都有角色和内容、对话从该开始的地方开始，以及——最多人漏掉的一条——以助手消息结尾，因为那一轮才是这条记录要教的东西。连着两条用户消息也会被标出来，因为那通常意味着两条记录被合并了。除了错误之外，整份文件的规模分布会在"放不下的长尾"变成训练中断的理由之前，先把它显出来。

功能特性

• 每条结论都落到它出自的那一行
• 检查每条记录能否解析，并越过解析失败的行继续
• 角色与已知集合对照，异常的会被标出
• 识别没有以助手消息结尾的记录
• 识别同一方连着两轮
• 识别空内容——能通过校验，却什么都没教
• 规模分布：中位数、第 90 百分位与最大值
• 可配置的 messages 键，适配叫法不同的格式

如何使用 微调数据集校验

1. 拖入 .jsonl 数据集或粘贴内容
2. 若格式不同，调整 messages 键
3. 先修错误，再看警告
4. 把规模分布与你的上下文上限对照

示例

输入

line 3: two user messages in a row

输出

Records: 3 · Errors: 0 · Warnings: 1

通常说明两条记录被意外合并了。

常见错误与故障排除

• 有记录不是以助手消息结尾。 — 那条记录没有可教的东西：最后的助手轮次才是目标。所以这是错误而不是警告。
• 找不到 messages 数组。 — 把 messages 键改成你的格式所用的名字。conversation 和 turns 都很常见。
• 连着两条用户消息被标出来。 — 通常是两条记录被误拼在一起。如果重复的轮次是有意的，这只是警告而不是错误。
• 有些记录特别大。 — 百分位显示了长尾。超过上下文上限的都会失败，在这里发现比在训练途中发现便宜得多。

常见问题

它期待什么格式？

对话格式：一行一个 JSON 对象，各自带一个由角色与内容成对组成的 messages 数组。键名可配置，因为各家约定不同，但里面的形状到哪儿都一样。

为什么记录必须以助手消息结尾？

因为那一轮才是这条记录要教的。以用户消息结尾的对话有问无答，没有可学的东西。

token 计数准确吗？

不准，是基于字符数的估算。它用来发现那个放不下的异常值，这不需要精度：精确数字由供应方的分词器给出。

结果干净就代表数据好吗？

只代表文件格式规整。这些示例教的对不对，是关于你数据的问题，任何校验器都不会回答。

我的数据集会被上传吗？

不会。训练数据通常是团队里最敏感的文件，而这一切都在浏览器里运行。

相关工具

• JSONL 查看与校验 — 逐行读取、筛选并检查 JSONL 文件。
• 对话记录转换 — 把消息数组转成可读记录，也能转回去。
• 批量请求构建器 — 把表格转成批量任务，每条请求都有唯一 id。
• 文本切分 — 把文档切成有重叠的片段，只在真正的边界处断开。
• 上下文窗口规划 — 在提示、工具、历史与回复之间分配上下文窗口。
• 提示模板填充 — 把一条提示展开到整张表格，并看清缺了哪些值。

更多AI 与智能体工具

• 技能构建器 — 编写 SKILL.md，边输入边检查 frontmatter。
• 技能检查器 — 粘贴 SKILL.md，看清是什么让它无法与任务匹配。
• 子代理构建器 — 生成子代理定义文件，含工具与模型设置。
• 斜杠命令构建器 — 构建自定义命令，带参数与工具白名单。
• 项目说明构建器 — 写一份对得起每次请求开销的 CLAUDE.md。
• 插件清单构建器 — 生成 plugin.json，并查看它所预设的目录结构。
• 钩子构建器 — 构建 settings.json 钩子，找出永远不会触发的匹配式。
• 权限规则测试器 — 用真实命令测试允许、询问与拒绝规则。
• MCP 服务器配置 — 为 stdio、HTTP 或 SSE 生成 MCP 服务器条目。
• MCP 工具模式构建器 — 定义工具并得到 JSON Schema，严格模式一并校验。
• 工具模式校验器 — 粘贴工具定义，查清它为何被拒绝或被错误调用。
• 提示模板填充 — 把一条提示展开到整张表格，并看清缺了哪些值。
• 系统提示检查器 — 找出自相矛盾、无效指令与未替换的占位符。
• 提示差异比较 — 逐词比较两个提示版本，并给出 token 差额。
• 少样本示例构建器 — 把输入输出对转成带标签、JSON 或对话格式的示例。
• XML 提示分节构建器 — 用内容无法越出的标签包裹提示的各个部分。
• JSONL 查看与校验 — 逐行读取、筛选并检查 JSONL 文件。
• 对话记录转换 — 把消息数组转成可读记录，也能转回去。
• SSE 流查看器 — 粘贴原始流式响应，取回正文、工具调用与用量。
• 上下文窗口规划 — 在提示、工具、历史与回复之间分配上下文窗口。
• 提示缓存规划 — 重排请求的各块，让可缓存前缀尽可能长。
• 文本切分 — 把文档切成有重叠的片段，只在真正的边界处断开。
• 代理循环成本估算 — 逐轮估算成本，计入重发的历史与缓存。
• 批量请求构建器 — 把表格转成批量任务，每条请求都有唯一 id。

查看全部AI 与智能体工具 · 全部工具