Construisez visuellement un fichier robots.txt avec des règles User-agent, des chemins Allow et Disallow, un crawl-delay et des sitemaps. Tout s'exécute dans votre navigateur.
Générateur robots.txt
Construisez visuellement un fichier robots.txt avec des règles User-agent, des chemins Allow et Disallow, un crawl-delay et des sitemaps. Tout s'exécute dans votre navigateur.
Vos règles robots.txt et URL de sitemap sont assemblées localement dans votre navigateur et ne sont jamais téléversées.
Ce générateur robots.txt vous permet de construire un fichier robots.txt visuellement au lieu de mémoriser la syntaxe exacte. Ajoutez un ou plusieurs groupes de règles, chacun avec un User-agent (par défaut *) ainsi que des lignes Allow et Disallow, puis définissez un Crawl-delay optionnel et listez vos URL de Sitemap. Des boutons de préréglage remplissent les configurations courantes : Tout autoriser, Tout bloquer, Bloquer les chemins d'administration courants comme /admin et /cgi-bin, et une configuration WordPress. Le panneau de sortie se met à jour en direct au fil de la frappe, formatant chaque groupe correctement avec une ligne vide entre les groupes et les lignes Sitemap à la fin. Lorsqu'une règle de chemin ne commence pas par une barre oblique, vous recevez un avertissement discret plutôt qu'un blocage. Copiez le résultat ou téléchargez-le sous robots.txt pour le placer à la racine de votre site. Tout est généré dans votre navigateur, donc rien de ce que vous tapez n'est téléversé.
Fonctionnalités
Construisez plusieurs groupes User-agent, chacun avec ses propres chemins Allow et Disallow
Ajoutez ou retirez des lignes de chemin individuelles pour affiner ce que les robots peuvent visiter
Préréglages en un clic : Tout autoriser, Tout bloquer, Bloquer les chemins d'administration courants et WordPress
Crawl-delay optionnel et une ou plusieurs URL de Sitemap absolues
La sortie en direct formate les groupes avec une ligne vide entre eux et les sitemaps à la fin
Avertit lorsqu'une règle de chemin ne commence pas par une barre oblique au lieu de vous bloquer
Copiez le robots.txt généré ou téléchargez-le sous forme de fichier robots.txt
Fonctionne entièrement dans votre navigateur sans téléversement de vos règles
Comment utiliser Générateur robots.txt
Choisissez un préréglage comme Tout autoriser ou Tout bloquer, ou démarrez un nouveau groupe User-agent.
Définissez le User-agent et ajoutez des lignes Allow ou Disallow pour ce groupe.
Ajoutez éventuellement un Crawl-delay et vos URL de Sitemap.
Examinez le robots.txt en direct dans le panneau de sortie à droite.
Cliquez sur Copier ou Télécharger pour enregistrer robots.txt et le téléverser à la racine de votre site.
Un seul groupe bloquant les chemins d'administration, avec un sitemap ajouté à la fin.
Erreurs courantes et dépannage
Une règle de chemin n'a aucun effet parce qu'elle ne commence pas par une barre oblique. — Commencez chaque valeur Allow et Disallow par /, par exemple /admin ou /private/. Le générateur signale les règles qui ne le font pas.
Disallow: / bloque accidentellement tout le site pour les moteurs de recherche. — Disallow: / indique aux robots d'ignorer chaque URL. Utilisez le préréglage Tout autoriser ou une valeur Disallow vide pour autoriser à nouveau l'exploration.
La ligne Sitemap est ignorée par les robots. — Les valeurs Sitemap doivent être des URL absolues comme https://example.com/sitemap.xml, et non des chemins relatifs comme /sitemap.xml.
Les robots indexent encore une page que vous avez bloquée. — robots.txt demande seulement aux robots conformes de ne pas récupérer une URL ; il ne retire pas les pages d'un index. Utilisez une balise meta ou un en-tête noindex pour cela.
Foire aux questions
Que fait Disallow: / ?
Disallow: / indique à un robot de ne récupérer aucune URL du site pour ce User-agent. C'est la base du préréglage Tout bloquer, donc utilisez-le avec précaution sur un site en production.
Où dois-je placer le fichier robots.txt ?
Il doit se trouver à la racine de votre domaine, servi à https://example.com/robots.txt. Les robots ne regardent que là, donc un robots.txt dans un sous-dossier est ignoré.
Disallow retire-t-il une page de Google ?
Non. Disallow demande aux robots conformes de ne pas récupérer l'URL, mais une page bloquée peut quand même apparaître dans les résultats via d'autres liens. Utilisez une balise meta ou un en-tête noindex pour garder une page hors de l'index.
Puis-je définir des règles différentes pour différents robots ?
Oui. Ajoutez un groupe User-agent distinct pour chaque robot, par exemple un pour Googlebot et un pour *. Chaque groupe obtient ses propres lignes Allow et Disallow dans la sortie.
Qu'est-ce que le Crawl-delay et dois-je l'utiliser ?
Crawl-delay demande à un robot d'attendre ce nombre de secondes entre les requêtes. Il est respecté par certains moteurs comme Bing mais ignoré par Googlebot, il est donc optionnel et laissé vide par défaut.
Mon robots.txt est-il envoyé à un serveur ?
Non. Le générateur robots.txt construit le fichier dans votre navigateur au fil de la frappe, donc les règles et URL de sitemap que vous saisissez restent sur votre appareil.
Calculateur semver — Analysez, comparez, vérifiez les plages et incrémentez des versions sémantiques.
Générateur d’en-tête Cache-Control — Construisez un en-tête HTTP Cache-Control correct à partir de simples interrupteurs et d’unités de temps lisibles.
Générateur de balises meta — Construit des balises SEO, Open Graph et Twitter Card depuis un formulaire.
Générateur CSP — Construit un en-tête Content-Security-Policy avec extraits meta, nginx et Apache.
Générateur htpasswd — Crée une ligne .htpasswd en bcrypt ou SHA-1 pour Apache et nginx.
Générateur de couleurs Tailwind — Transforme une couleur de marque en échelle Tailwind 50-950 en OKLCH avec contraste WCAG par nuance.
Générateur CSS Grid — Construit une grille CSS visuellement et copie le grid-template avec les placements, dans votre navigateur.
Calculateur CSS clamp — Transforme une taille min/max et deux largeurs de fenêtre en une valeur clamp() fluide, localement.
Générateur cubic-bezier — Façonne une courbe d’accélération CSS cubic-bezier() en faisant glisser deux points, avec aperçu en direct.