Générateur robots.txt
Construisez visuellement un fichier robots.txt avec des règles User-agent, des chemins Allow et Disallow, un crawl-delay et des sitemaps. Tout s'exécute dans votre navigateur.
Vos règles robots.txt et URL de sitemap sont assemblées localement dans votre navigateur et ne sont jamais téléversées.
Besoin d'un sitemap aussi ? Essayez le Générateur de sitemap.
À propos de Générateur robots.txt
Ce générateur robots.txt vous permet de construire un fichier robots.txt visuellement au lieu de mémoriser la syntaxe exacte. Ajoutez un ou plusieurs groupes de règles, chacun avec un User-agent (par défaut *) ainsi que des lignes Allow et Disallow, puis définissez un Crawl-delay optionnel et listez vos URL de Sitemap. Des boutons de préréglage remplissent les configurations courantes : Tout autoriser, Tout bloquer, Bloquer les chemins d'administration courants comme /admin et /cgi-bin, et une configuration WordPress. Le panneau de sortie se met à jour en direct au fil de la frappe, formatant chaque groupe correctement avec une ligne vide entre les groupes et les lignes Sitemap à la fin. Lorsqu'une règle de chemin ne commence pas par une barre oblique, vous recevez un avertissement discret plutôt qu'un blocage. Copiez le résultat ou téléchargez-le sous robots.txt pour le placer à la racine de votre site. Tout est généré dans votre navigateur, donc rien de ce que vous tapez n'est téléversé.
Fonctionnalités
- Construisez plusieurs groupes User-agent, chacun avec ses propres chemins Allow et Disallow
- Ajoutez ou retirez des lignes de chemin individuelles pour affiner ce que les robots peuvent visiter
- Préréglages en un clic : Tout autoriser, Tout bloquer, Bloquer les chemins d'administration courants et WordPress
- Crawl-delay optionnel et une ou plusieurs URL de Sitemap absolues
- La sortie en direct formate les groupes avec une ligne vide entre eux et les sitemaps à la fin
- Avertit lorsqu'une règle de chemin ne commence pas par une barre oblique au lieu de vous bloquer
- Copiez le robots.txt généré ou téléchargez-le sous forme de fichier robots.txt
- Fonctionne entièrement dans votre navigateur sans téléversement de vos règles
Comment utiliser Générateur robots.txt
- Choisissez un préréglage comme Tout autoriser ou Tout bloquer, ou démarrez un nouveau groupe User-agent.
- Définissez le User-agent et ajoutez des lignes Allow ou Disallow pour ce groupe.
- Ajoutez éventuellement un Crawl-delay et vos URL de Sitemap.
- Examinez le robots.txt en direct dans le panneau de sortie à droite.
- Cliquez sur Copier ou Télécharger pour enregistrer robots.txt et le téléverser à la racine de votre site.
Exemple
Entrée
User-agent: * → Disallow: /admin, /cgi-bin/
Sitemap: https://example.com/sitemap.xml
Sortie
User-agent: *
Disallow: /admin
Disallow: /cgi-bin/
Sitemap: https://example.com/sitemap.xml
Un seul groupe bloquant les chemins d'administration, avec un sitemap ajouté à la fin.
Erreurs courantes et dépannage
- Une règle de chemin n'a aucun effet parce qu'elle ne commence pas par une barre oblique. — Commencez chaque valeur Allow et Disallow par /, par exemple /admin ou /private/. Le générateur signale les règles qui ne le font pas.
- Disallow: / bloque accidentellement tout le site pour les moteurs de recherche. — Disallow: / indique aux robots d'ignorer chaque URL. Utilisez le préréglage Tout autoriser ou une valeur Disallow vide pour autoriser à nouveau l'exploration.
- La ligne Sitemap est ignorée par les robots. — Les valeurs Sitemap doivent être des URL absolues comme https://example.com/sitemap.xml, et non des chemins relatifs comme /sitemap.xml.
- Les robots indexent encore une page que vous avez bloquée. — robots.txt demande seulement aux robots conformes de ne pas récupérer une URL ; il ne retire pas les pages d'un index. Utilisez une balise meta ou un en-tête noindex pour cela.
Foire aux questions
- Que fait Disallow: / ?
- Disallow: / indique à un robot de ne récupérer aucune URL du site pour ce User-agent. C'est la base du préréglage Tout bloquer, donc utilisez-le avec précaution sur un site en production.
- Où dois-je placer le fichier robots.txt ?
- Il doit se trouver à la racine de votre domaine, servi à https://example.com/robots.txt. Les robots ne regardent que là, donc un robots.txt dans un sous-dossier est ignoré.
- Disallow retire-t-il une page de Google ?
- Non. Disallow demande aux robots conformes de ne pas récupérer l'URL, mais une page bloquée peut quand même apparaître dans les résultats via d'autres liens. Utilisez une balise meta ou un en-tête noindex pour garder une page hors de l'index.
- Puis-je définir des règles différentes pour différents robots ?
- Oui. Ajoutez un groupe User-agent distinct pour chaque robot, par exemple un pour Googlebot et un pour *. Chaque groupe obtient ses propres lignes Allow et Disallow dans la sortie.
- Qu'est-ce que le Crawl-delay et dois-je l'utiliser ?
- Crawl-delay demande à un robot d'attendre ce nombre de secondes entre les requêtes. Il est respecté par certains moteurs comme Bing mais ignoré par Googlebot, il est donc optionnel et laissé vide par défaut.
- Mon robots.txt est-il envoyé à un serveur ?
- Non. Le générateur robots.txt construit le fichier dans votre navigateur au fil de la frappe, donc les règles et URL de sitemap que vous saisissez restent sur votre appareil.
Outils associés
Tous les outils ArrayKit