Divisor de texto

Divide un documento en fragmentos solapados que cortan donde el texto se divide de verdad.

Los documentos se dividen en el navegador. Nada se sube, sea cual sea su contenido.

Comprueba que los fragmentos caben en tu ventana

Acerca de Divisor de texto

Cortar cada N caracteres es el método obvio y produce fragmentos que no significan nada por sí solos: una frase partida por la mitad, un encabezado huérfano de lo que introducía. Esto corta por el mayor límite estructural que todavía quepa: encabezados, luego párrafos, luego frases, y solo a media palabra cuando una sola unidad no cabe de ninguna manera. El solapamiento arrastra una cola de cada fragmento al siguiente, así que un dato que cruza un límite sobrevive entero en alguna parte. Lo que cuesta ese solapamiento se muestra como porcentaje, porque es duplicación real y conviene verla antes de que se convierta en una factura de embeddings.

Características

• Corta por encabezados, párrafos o frases en vez de por un ancho fijo
• División por frases que sobrevive a abreviaturas e iniciales
• Las unidades demasiado grandes se cortan por límite de palabra, no a media palabra
• El solapamiento arrastra contexto al fragmento siguiente
• Informa de lo que cuesta el solapamiento como porcentaje
• Registra el encabezado bajo el que queda cada fragmento
• Distribución de tamaños: mínimo, medio y máximo
• Exporta como JSONL con el encabezado y los tokens de cada fragmento

Cómo usar Divisor de texto

1. Suelta un documento o pégalo
2. Elige por dónde cortar
3. Ajusta el tamaño objetivo y cuánto solapamiento quieres
4. Recorre los fragmentos y exporta como JSONL

Ejemplo

Entrada

## Eligibility\n\nAn order is eligible if…

Salida

chunk 2 — under “Eligibility”, ≈58 tokens

Cortar por encabezados mantiene cada sección entera y etiquetada.

Errores comunes y solución de problemas

• Los fragmentos salen mucho más pequeños que el objetivo. — Se alcanzó antes un límite estructural. Cortar por párrafos no fusiona dos párrafos pasado el límite, así que un documento de párrafos cortos da fragmentos cortos.
• Un fragmento es mucho mayor que el resto. — Una unidad más grande que el objetivo se corta por límite de palabra, no se fusiona. Una tabla larga o un bloque de código son la causa habitual.
• El coste del solapamiento parece alto. — Es una duplicación real de tokens. El solapamiento vale la pena, pero una décima parte del tamaño del fragmento suele bastar.
• Las frases se cortan en sitios raros. — Se manejan abreviaturas e iniciales, pero una puntuación inusual todavía puede despistarlo. Cortar por párrafos evita la cuestión del todo.

Preguntas frecuentes

¿Qué tamaño deberían tener los fragmentos?

Depende de qué los lea. La recuperación suele querer fragmentos lo bastante pequeños para ser concretos y lo bastante grandes para sostenerse solos: unos cientos de tokens es un punto de partida habitual, y luego se ajusta con preguntas reales.

¿Cuánto solapamiento necesito?

El suficiente para que una frase que cruce un límite aparezca entera en algún sitio. En torno a una décima parte del tamaño del fragmento es lo típico; el coste de más se muestra como porcentaje, así que el compromiso es visible.

¿Por qué límite debería cortar?

Por encabezados cuando el documento los tenga: cada fragmento cubre entonces una sección y lleva su título. Por párrafos para prosa corriente. Por frases cuando necesites más control y puedas asumir la pérdida de estructura.

¿Qué precisión tienen los recuentos de tokens de cada fragmento?

Son estimaciones por caracteres con una proporción ajustable, porque la proporción varía según idioma y alfabeto. Para dimensionar fragmentos basta; para facturar, cuenta con el tokenizador del proveedor.

¿Por qué cada fragmento registra un encabezado?

Porque un fragmento recuperado por su cuenta ha perdido su contexto. Conservar el encabezado hace que el texto llegue con una etiqueta que dice de qué trata, lo que mejora lo que se hace con él.

Herramientas relacionadas

• Planificador de contexto — Reparte la ventana entre prompt, herramientas, historial y respuesta.
• Visor y validador JSONL — Lee, filtra y comprueba un archivo JSONL línea por línea.
• Planificador de caché — Ordena los bloques para que el prefijo cacheable sea lo más largo posible.
• Contador de Tokens — Cuenta tokens para GPT, Claude y Gemini mientras escribes.
• Validador de datasets — Revisa un dataset JSONL de chat buscando los errores que tumban un entrenamiento.
• Constructor de lotes — Convierte una tabla de filas en un trabajo por lotes, con ids únicos.

Más herramientas de IA y agentes

• Constructor de skills — Escribe un SKILL.md con el frontmatter revisado mientras escribes.
• Linter de skills — Pega un SKILL.md y descubre qué impide que se asocie a una tarea.
• Constructor de subagentes — Crea el archivo de definición de un subagente con sus herramientas y modelo.
• Constructor de comandos — Crea un comando propio, con argumentos y una lista de herramientas.
• Instrucciones del proyecto — Redacta un CLAUDE.md que se gane su sitio en cada sesión.
• Manifiesto de plugin — Genera un plugin.json y mira la estructura de carpetas que espera.
• Constructor de hooks — Crea hooks de settings.json y detecta los matchers que nunca se activan.
• Probador de reglas de permiso — Prueba reglas de permitir, preguntar y denegar con comandos reales.
• Configuración de servidor MCP — Genera una entrada de servidor MCP para stdio, HTTP o SSE.
• Esquema de herramienta MCP — Define una herramienta y obtén el JSON Schema, con el modo estricto revisado.
• Verificador de esquemas — Pega una definición y averigua por qué se rechaza o se llama mal.
• Relleno de plantillas — Expande un prompt sobre una tabla de filas y mira qué falta.
• Linter de prompts — Encuentra contradicciones, instrucciones muertas y marcadores sin rellenar.
• Comparador de prompts — Compara dos versiones palabra por palabra, con la diferencia en tokens.
• Ejemplos few-shot — Convierte pares de entrada y salida en ejemplos etiquetados, JSON o de chat.
• Secciones XML del prompt — Envuelve secciones en etiquetas de las que el contenido no puede salir.
• Visor y validador JSONL — Lee, filtra y comprueba un archivo JSONL línea por línea.
• Conversor de transcripciones — Convierte un array de mensajes en una transcripción legible, y al revés.
• Validador de datasets — Revisa un dataset JSONL de chat buscando los errores que tumban un entrenamiento.
• Visor de streams SSE — Pega una respuesta en streaming y recupera el texto, las llamadas y el uso.
• Planificador de contexto — Reparte la ventana entre prompt, herramientas, historial y respuesta.
• Planificador de caché — Ordena los bloques para que el prefijo cacheable sea lo más largo posible.
• Coste de un bucle de agente — Calcula el coste turno a turno, con el historial reenviado y la caché aplicada.
• Constructor de lotes — Convierte una tabla de filas en un trabajo por lotes, con ids únicos.

Ver todas las herramientas de IA y agentes · Todas las herramientas