Cortar a cada N caracteres é a abordagem óbvia e produz pedaços que não significam nada sozinhos: uma frase partida ao meio, um título órfão do que introduzia. Isto corta na maior fronteira estrutural que ainda cabe: títulos, depois parágrafos, depois frases, e só no meio de uma palavra quando uma única unidade não cabe de jeito nenhum. A sobreposição leva uma cauda de cada pedaço para o seguinte, então um fato que atravessa uma fronteira sobrevive inteiro em algum lugar. O que essa sobreposição custa aparece como percentual, porque é duplicação real e vale ver antes de virar uma conta de embeddings.
Recursos
Corta em títulos, parágrafos ou frases em vez de numa largura fixa
Divisão por frases que sobrevive a abreviações e iniciais
Unidades grandes demais cortadas numa fronteira de palavra, não no meio dela
A sobreposição leva contexto para o pedaço seguinte
Informa o custo da sobreposição como percentual
Registra o título sob o qual cada pedaço fica
Distribuição de tamanhos: menor, médio e maior
Exporta como JSONL com o título e a contagem de tokens de cada pedaço
Como usar Divisor de texto
Solte um documento ou cole
Escolha onde cortar
Ajuste o tamanho alvo e quanta sobreposição quer
Percorra os pedaços e exporte como JSONL
Exemplo
Entrada
## Eligibility\n\nAn order is eligible if…
Saída
chunk 2 — under “Eligibility”, ≈58 tokens
Cortar em títulos mantém cada seção inteira e rotulada.
Erros comuns e solução de problemas
Os pedaços saem bem menores que o alvo. — Uma fronteira estrutural veio antes. Cortar em parágrafos não junta dois parágrafos além do limite, então um documento de parágrafos curtos dá pedaços curtos.
Um pedaço é muito maior que os outros. — Uma única unidade maior que o alvo é cortada numa fronteira de palavra, não fundida. Uma tabela longa ou um bloco de código é a causa comum.
O custo da sobreposição parece alto. — É duplicação real de tokens. Sobreposição vale a pena, mas um décimo do tamanho do pedaço costuma bastar.
Frases se dividem em lugares estranhos. — Abreviações e iniciais são tratadas, mas pontuação incomum ainda pode enganar. Cortar por parágrafos evita a questão de vez.
Perguntas frequentes
Que tamanho os pedaços devem ter?
Depende do que os lê. Recuperação costuma querer pedaços pequenos o bastante para serem específicos e grandes o bastante para se sustentarem sozinhos: algumas centenas de tokens é um ponto de partida comum, e depois se ajusta com perguntas reais.
De quanta sobreposição preciso?
O suficiente para uma frase que atravessa uma fronteira aparecer inteira em algum lugar. Cerca de um décimo do tamanho do pedaço é típico; o custo de mais aparece como percentual, então o trade-off fica visível.
Em que fronteira devo cortar?
Em títulos quando o documento os tiver: cada pedaço cobre então uma seção e carrega o título dela. Em parágrafos para prosa comum. Em frases quando precisar de mais controle e puder abrir mão da estrutura de parágrafo.
Quão exatas são as contagens de tokens dos pedaços?
São estimativas por caracteres com uma proporção ajustável, porque a proporção varia por idioma e alfabeto. Para dimensionar pedaços basta; para cobrança, conte com o tokenizador do provedor.
Por que cada pedaço registra um título?
Porque um pedaço recuperado sozinho perdeu o contexto. Manter o título faz o texto chegar com um rótulo dizendo do que se trata, o que melhora o que se faz com ele.
Ferramentas relacionadas
Planejador de contexto — Divida a janela entre prompt, ferramentas, histórico e a resposta.