Validador de conjuntos de ajuste fino

Confira um conjunto de dados de chat pelos erros que derrubam um treino no meio.

Dados de treino são lidos no navegador. Nada é enviado e nada permanece depois que a página fecha.

Percorra o arquivo registro a registro

Sobre Validador de datasets

Um treino falha no primeiro registro malformado, e normalmente encontra isso depois que você já foi para casa. As checagens que valem a pena antes são pouco vistosas e rápidas: cada registro um objeto com um array de mensagens, cada mensagem com papel e conteúdo, a conversa começando onde deve e — a que passa despercebida — terminando numa mensagem do assistente, porque esse é o turno que o registro ensina. Duas mensagens de usuário seguidas também são apontadas, já que costumam significar que dois registros se fundiram. Ao lado dos erros, a distribuição de tamanhos mostra a cauda que não vai caber antes de ela virar o motivo de o treino parar.

Recursos

• Cada achado apontado na linha de onde veio
• Confere se cada registro analisa, e segue além dos que não
• Papéis conferidos contra o conjunto conhecido, os incomuns apontados
• Pega um registro que não termina numa mensagem do assistente
• Pega dois turnos seguidos do mesmo lado
• Pega conteúdo vazio, que valida e não ensina nada
• Distribuição de tamanhos: mediana, percentil 90 e maior
• Chave de mensagens configurável para formatos que a chamam de outro jeito

Como usar Validador de datasets

1. Solte o conjunto .jsonl ou cole
2. Ajuste a chave de mensagens se seu formato for diferente
3. Corrija os erros, depois olhe os avisos
4. Compare a distribuição de tamanhos com seu limite de contexto

Exemplo

Entrada

line 3: two user messages in a row

Saída

Records: 3 · Errors: 0 · Warnings: 1

Normalmente sinal de que dois registros foram unidos por acidente.

Erros comuns e solução de problemas

• Um registro não termina com mensagem do assistente. — Esse registro não tem o que ensinar: o turno final do assistente é o alvo. Por isso é um erro e não um aviso.
• Não encontra o array de mensagens. — Ajuste a chave de mensagens para o nome que seu formato usa. Conversation e turns são ambos comuns.
• Duas mensagens de usuário seguidas são apontadas. — Costumam ser dois registros concatenados por engano. Se o turno duplicado for deliberado, é um aviso e não um erro.
• Alguns registros são enormes. — Os percentis mostram a cauda. Tudo além do limite de contexto vai falhar, e é muito mais barato descobrir aqui do que no meio de um treino.

Perguntas frequentes

Que formato ele espera?

O formato de chat: um objeto JSON por linha, cada um com um array de mensagens de pares papel e conteúdo. O nome da chave é configurável, porque as convenções variam, mas o formato interno é o mesmo em todo lugar.

Por que um registro precisa terminar numa mensagem do assistente?

Porque esse turno é o que o registro ensina. Uma conversa que termina numa mensagem de usuário tem uma pergunta e nenhuma resposta, então não há nada a aprender.

As contagens de tokens são exatas?

Não, são estimativas por caracteres. Servem para detectar o caso extremo que não vai caber, o que não exige precisão: a contagem exata vem do tokenizador do provedor.

Um resultado limpo significa que os dados estão bons?

Significa que o arquivo está bem formado. Se os exemplos ensinam a coisa certa é uma pergunta sobre seus dados, e nenhum validador responde.

Meu conjunto de dados é enviado?

Não. Dados de treino costumam ser o arquivo mais sensível de uma equipe, e tudo isso roda no navegador.

Ferramentas relacionadas

• Visualizador e validador JSONL — Leia, filtre e verifique um arquivo JSONL linha por linha.
• Conversor de transcrições — Transforme um array de mensagens em transcrição legível, e de volta.
• Construtor de lotes — Transforme uma tabela de linhas em um job em lote, com ids únicos.
• Divisor de texto — Divida um documento em trechos sobrepostos que cortam em limites reais.
• Planejador de contexto — Divida a janela entre prompt, ferramentas, histórico e a resposta.
• Preenchimento de templates — Expanda um prompt sobre uma tabela de linhas e veja o que está faltando.

Mais ferramentas de IA e agentes

• Construtor de skills — Escreva um SKILL.md com o frontmatter verificado enquanto você digita.
• Linter de skills — Cole um SKILL.md e veja o que impede que ele seja associado a uma tarefa.
• Construtor de subagentes — Monte o arquivo de definição de um subagente com ferramentas e modelo.
• Construtor de comandos — Crie um comando próprio, com argumentos e uma lista de ferramentas.
• Instruções do projeto — Escreva um CLAUDE.md que mereça seu lugar em cada sessão.
• Manifesto de plugin — Gere um plugin.json e veja a estrutura de pastas que ele espera.
• Construtor de hooks — Monte hooks do settings.json e pegue os matchers que nunca disparam.
• Testador de regras de permissão — Teste regras de permitir, perguntar e negar contra comandos reais.
• Configuração de servidor MCP — Gere uma entrada de servidor MCP para stdio, HTTP ou SSE.
• Esquema de ferramenta MCP — Defina uma ferramenta e obtenha o JSON Schema, com o modo estrito verificado.
• Verificador de esquemas — Cole uma definição e descubra por que ela é rejeitada ou chamada errado.
• Preenchimento de templates — Expanda um prompt sobre uma tabela de linhas e veja o que está faltando.
• Linter de prompts — Encontre contradições, instruções mortas e marcadores não preenchidos.
• Comparador de prompts — Compare duas versões palavra por palavra, com a diferença em tokens.
• Exemplos few-shot — Transforme pares de entrada e saída em exemplos com tags, JSON ou chat.
• Seções XML do prompt — Envolva seções em tags das quais o conteúdo não consegue escapar.
• Visualizador e validador JSONL — Leia, filtre e verifique um arquivo JSONL linha por linha.
• Conversor de transcrições — Transforme um array de mensagens em transcrição legível, e de volta.
• Visualizador de streams SSE — Cole uma resposta em streaming e recupere o texto, as chamadas e o uso.
• Planejador de contexto — Divida a janela entre prompt, ferramentas, histórico e a resposta.
• Planejador de cache — Ordene os blocos para que o prefixo cacheável seja o mais longo possível.
• Divisor de texto — Divida um documento em trechos sobrepostos que cortam em limites reais.
• Custo de um loop de agente — Calcule o custo turno a turno, com histórico reenviado e cache aplicado.
• Construtor de lotes — Transforme uma tabela de linhas em um job em lote, com ids únicos.

Ver todas as ferramentas de IA e agentes · Todas as ferramentas