¿Qué hace Disallow: /?

Disallow: / le indica a un rastreador que no obtenga ninguna URL del sitio para ese User-agent. Es la base del preajuste bloquear todo, así que úsalo con cuidado en un sitio en producción.

¿Dónde coloco el archivo robots.txt?

Debe estar en la raíz de tu dominio, servido en https://example.com/robots.txt. Los rastreadores solo buscan ahí, así que un robots.txt en una subcarpeta se ignora.

¿Disallow elimina una página de Google?

No. Disallow pide a los rastreadores que lo cumplen que no obtengan la URL, pero una página bloqueada todavía puede aparecer en resultados a partir de otros enlaces. Usa una metaetiqueta o cabecera noindex para mantener una página fuera del índice.

¿Puedo definir reglas distintas para distintos bots?

Sí. Añade un grupo de User-agent aparte para cada bot, por ejemplo uno para Googlebot y otro para *. Cada grupo recibe sus propias líneas Allow y Disallow en la salida.

¿Qué es Crawl-delay y debería usarlo?

Crawl-delay pide a un rastreador que espere esa cantidad de segundos entre solicitudes. Algunos motores como Bing lo respetan, pero Googlebot lo ignora, así que es opcional y se deja en blanco por defecto.

¿Se envía mi robots.txt a un servidor?

No. El generador de robots.txt construye el archivo en tu navegador mientras escribes, así que las reglas y las URL de sitemap que introduces permanecen en tu dispositivo.

Generador de robots.txt

Construye visualmente un archivo robots.txt con reglas de User-agent, rutas allow y disallow, crawl-delay y sitemaps. Todo se ejecuta en tu navegador.

Tus reglas de robots.txt y las URL de sitemap se ensamblan localmente en tu navegador y nunca se suben.

¿Necesitas también un sitemap? Prueba el Generador de Sitemap.

Acerca de Generador de robots.txt

Este generador de robots.txt te permite construir un archivo robots.txt visualmente en lugar de recordar la sintaxis exacta. Añade uno o más grupos de reglas, cada uno con un User-agent (predeterminado *) más filas de rutas Allow y Disallow, luego define un Crawl-delay opcional y lista las URL de tu Sitemap. Los botones de preajuste rellenan configuraciones comunes: permitir todo, bloquear todo, bloquear rutas de administración comunes como /admin y /cgi-bin, y una configuración de WordPress. El panel de salida se actualiza en vivo mientras escribes, dando formato a cada grupo correctamente con una línea en blanco entre grupos y las líneas de Sitemap al final. Cuando una regla de ruta no empieza con una barra, recibes una advertencia suave en vez de un bloqueo. Copia el resultado o descárgalo como robots.txt para colocarlo en la raíz de tu sitio. Todo se genera en tu navegador, así que nada de lo que escribes se sube.

Características

Construye varios grupos de User-agent, cada uno con sus propias rutas Allow y Disallow
Añade o elimina filas de ruta individuales para afinar qué pueden visitar los rastreadores
Preajustes en un clic: permitir todo, bloquear todo, bloquear rutas de administración comunes y WordPress
Crawl-delay opcional y una o más URL absolutas de Sitemap
La salida en vivo formatea los grupos con una línea en blanco entre ellos y los sitemaps al final
Advierte cuando una regla de ruta no empieza con una barra en vez de bloquearte
Copia el robots.txt generado o descárgalo como un archivo robots.txt
Se ejecuta por completo en tu navegador sin subir tus reglas

Cómo usar Generador de robots.txt

Elige un preajuste como permitir todo o bloquear todo, o empieza un grupo de User-agent nuevo.
Define el User-agent y añade filas de ruta Allow o Disallow para ese grupo.
Opcionalmente añade un Crawl-delay y las URL de tu Sitemap.
Revisa el robots.txt en vivo en el panel de salida a la derecha.
Haz clic en Copiar o Descargar para guardar robots.txt y subirlo a la raíz de tu sitio.

Ejemplo

Entrada

User-agent: *  →  Disallow: /admin, /cgi-bin/
Sitemap: https://example.com/sitemap.xml

Salida

User-agent: *
Disallow: /admin
Disallow: /cgi-bin/

Sitemap: https://example.com/sitemap.xml

Un solo grupo que bloquea rutas de administración, con un sitemap añadido al final.

Errores comunes y solución de problemas

Una regla de ruta no tiene efecto porque no empieza con una barra. — Empieza cada valor de Allow y Disallow con /, por ejemplo /admin o /private/. El generador señala las reglas que no lo hacen.
Disallow: / bloquea por accidente todo el sitio de los motores de búsqueda. — Disallow: / le indica a los rastreadores que omitan todas las URL. Usa el preajuste permitir todo o un valor Disallow vacío para permitir el rastreo de nuevo.
Los rastreadores ignoran la línea Sitemap. — Los valores de Sitemap deben ser URL absolutas como https://example.com/sitemap.xml, no rutas relativas como /sitemap.xml.
Los rastreadores siguen indexando una página que prohibiste. — robots.txt solo solicita que los rastreadores que lo cumplen no obtengan una URL; no elimina páginas de un índice. Usa una metaetiqueta o cabecera noindex para eso.

Preguntas frecuentes

¿Qué hace Disallow: /?: Disallow: / le indica a un rastreador que no obtenga ninguna URL del sitio para ese User-agent. Es la base del preajuste bloquear todo, así que úsalo con cuidado en un sitio en producción.
¿Dónde coloco el archivo robots.txt?: Debe estar en la raíz de tu dominio, servido en https://example.com/robots.txt. Los rastreadores solo buscan ahí, así que un robots.txt en una subcarpeta se ignora.
¿Disallow elimina una página de Google?: No. Disallow pide a los rastreadores que lo cumplen que no obtengan la URL, pero una página bloqueada todavía puede aparecer en resultados a partir de otros enlaces. Usa una metaetiqueta o cabecera noindex para mantener una página fuera del índice.
¿Puedo definir reglas distintas para distintos bots?: Sí. Añade un grupo de User-agent aparte para cada bot, por ejemplo uno para Googlebot y otro para *. Cada grupo recibe sus propias líneas Allow y Disallow en la salida.
¿Qué es Crawl-delay y debería usarlo?: Crawl-delay pide a un rastreador que espere esa cantidad de segundos entre solicitudes. Algunos motores como Bing lo respetan, pero Googlebot lo ignora, así que es opcional y se deja en blanco por defecto.
¿Se envía mi robots.txt a un servidor?: No. El generador de robots.txt construye el archivo en tu navegador mientras escribes, así que las reglas y las URL de sitemap que introduces permanecen en tu dispositivo.

Herramientas relacionadas

Generador de Sitemap XML — Convierte una lista de URL en un sitemap.xml válido.
Generador de .gitignore — Crea un .gitignore a partir de plantillas comunes de lenguajes y herramientas.
Estados HTTP y tipos MIME — Referencia buscable de códigos de estado HTTP y tipos de contenido MIME.
Generador de Open Graph — Genera etiquetas meta Open Graph y Twitter con vista previa de tarjeta social.
Analizador de URL — Descompone una URL en sus partes y lista los parámetros de consulta.