ファインチューニング用データ検証

学習の途中で失敗させる誤りがないか、チャット形式のデータセットを点検します。

学習データはブラウザー内で読まれます。送信はされず、ページを閉じれば何も残りません。

ファイルをレコードごとに見る

学習データ検証 について

学習は最初の壊れたレコードで失敗し、たいていはあなたが帰ったあとにそれを見つけます。事前にやる価値のある点検は地味で速いものばかりです。各レコードが messages 配列を持つオブジェクトであること、各メッセージが役割と内容を持つこと、会話が始まるべきところから始まること、そして——これを見落とす人が多い——アシスタントのメッセージで終わること。そのターンこそ、そのレコードが教えているものだからです。ユーザーのメッセージが二つ続くのも指摘します。たいていレコードが二つ結合してしまった印だからです。誤りと並んで、ファイル全体のサイズ分布が、収まらない裾を「学習が止まる理由」になる前に見せてくれます。

機能

• 各指摘をその行番号で報告
• 各レコードの解析を確かめ、失敗した行の先も続けます
• 役割を既知の集合と照合し、珍しいものを指摘
• アシスタントで終わっていないレコードを検出
• 同じ側のターンが二つ続くのを検出
• 検証は通るが何も教えない空の内容を検出
• サイズ分布：中央値・90 パーセンタイル・最大
• 別名の形式に合わせられる messages キー

学習データ検証 の使い方

1. .jsonl のデータセットを置くか、貼り付けます
2. 形式が違えば messages キーを合わせます
3. エラーを直し、次に警告を見ます
4. サイズ分布を文脈の上限と見比べます

例

入力

line 3: two user messages in a row

出力

Records: 3 · Errors: 0 · Warnings: 1

たいていは、二つのレコードが誤って結合した印です。

よくあるエラーとトラブルシューティング

• アシスタントのメッセージで終わっていないレコードがある。 — そのレコードには学ぶものがありません。最後のアシスタントのターンが目標だからです。だから警告ではなくエラーです。
• messages 配列が見つからない。 — お使いの形式が使っている名前に messages キーを合わせてください。conversation も turns もよく使われます。
• ユーザーのメッセージが二つ続くと指摘される。 — たいてい二つのレコードが誤って連結しています。二重のターンが意図的なら、これは警告であってエラーではありません。
• 一部のレコードが巨大だ。 — パーセンタイルが裾を示します。文脈の上限を超えるものは失敗します。学習の途中よりここで気づくほうがはるかに安上がりです。

よくある質問

どんな形式を想定していますか。

チャット形式です。一行に一つの JSON オブジェクトで、役割と内容の対からなる messages 配列を持ちます。キー名は設定できますが、中の形はどこでも同じです。

なぜアシスタントのメッセージで終わる必要があるのですか。

そのターンこそ、そのレコードが教えているものだからです。ユーザーのメッセージで終わる会話には問いがあって答えがなく、学ぶものがありません。

トークン数は正確ですか。

いいえ、文字数に基づく見積りです。収まらない外れ値を見つけるためのもので、精度は要りません。正確な数は提供元のトークナイザーが出します。

結果が澄めばデータは良いのですか。

ファイルの形が整っている、という意味です。例が正しいことを教えているかどうかはあなたのデータについての問いで、どの検証器も答えません。

データセットは送信されますか。

いいえ。学習データはチームで最も機微なファイルであることが多く、これはすべてブラウザー内で動きます。

関連ツール

• JSONL ビューア・検証 — JSONL ファイルを行単位で読み、絞り込み、検証します。
• 会話ログ変換 — メッセージ配列を読みやすい記録に変換し、元にも戻します。
• バッチリクエストビルダー — 行の表をバッチ処理に変換し、各リクエストに一意の ID を付けます。
• テキスト分割 — 実際の切れ目で分かれる重なり付きのチャンクに文書を分けます。
• コンテキストウィンドウ設計 — ウィンドウをプロンプト、ツール、履歴、応答に配分します。
• プロンプトテンプレート展開 — 一つのプロンプトを行の表に展開し、欠けている値を確認します。

AI・エージェントの他のツール

• スキルビルダー — SKILL.md を作成し、frontmatter を入力しながら検証します。
• スキルリンター — SKILL.md を貼り付け、タスクに一致しない理由を確かめます。
• サブエージェントビルダー — ツールとモデルを指定してサブエージェント定義ファイルを作ります。
• スラッシュコマンドビルダー — 引数とツール許可リストを備えた独自コマンドを作ります。
• プロジェクト指示ビルダー — 毎リクエストの費用に見合う CLAUDE.md を書きます。
• プラグインマニフェスト — plugin.json を生成し、前提となるフォルダ構成を確認します。
• フックビルダー — settings.json のフックを作り、発火しないマッチャーを見つけます。
• 権限ルールテスター — 許可・確認・拒否のルールを実際のコマンドで試します。
• MCP サーバー設定 — stdio、HTTP、SSE 向けの MCP サーバー設定を生成します。
• MCP ツールスキーマ — ツールを定義し、strict モードを検証した JSON Schema を得ます。
• ツールスキーマ検証 — 定義を貼り付け、拒否される理由や誤呼び出しの原因を調べます。
• プロンプトテンプレート展開 — 一つのプロンプトを行の表に展開し、欠けている値を確認します。
• システムプロンプトリンター — 矛盾、効かない指示、未置換のプレースホルダーを見つけます。
• プロンプト差分 — 二つの版を単語単位で比較し、トークン差も表示します。
• Few-shot 例ビルダー — 入出力の組をタグ付き、JSON、会話形式の例に変換します。
• XML プロンプト構成 — 内容が外に漏れないタグでプロンプトの各節を囲みます。
• JSONL ビューア・検証 — JSONL ファイルを行単位で読み、絞り込み、検証します。
• 会話ログ変換 — メッセージ配列を読みやすい記録に変換し、元にも戻します。
• SSE ストリームビューア — 生のストリーミング応答から本文、ツール呼び出し、使用量を取り出します。
• コンテキストウィンドウ設計 — ウィンドウをプロンプト、ツール、履歴、応答に配分します。
• プロンプトキャッシュ設計 — キャッシュできる接頭辞が最長になるようブロックを並べ替えます。
• テキスト分割 — 実際の切れ目で分かれる重なり付きのチャンクに文書を分けます。
• エージェントループ費用 — 再送される履歴とキャッシュを含めてターンごとに費用を見積もります。
• バッチリクエストビルダー — 行の表をバッチ処理に変換し、各リクエストに一意の ID を付けます。

AI・エージェントのツールをすべて見る · すべてのツール