O que Disallow: / faz?

Disallow: / diz a um crawler para não buscar nenhuma URL do site para aquele User-agent. É a base da predefinição Bloquear tudo, então use-a com cuidado em um site no ar.

Onde coloco o arquivo robots.txt?

Ele deve ficar na raiz do seu domínio, servido em https://example.com/robots.txt. Os crawlers só procuram lá, então um robots.txt em uma subpasta é ignorado.

Disallow remove uma página do Google?

Não. Disallow pede que crawlers compatíveis não busquem a URL, mas uma página bloqueada ainda pode aparecer nos resultados a partir de outros links. Use uma meta tag ou cabeçalho noindex para manter uma página fora do índice.

Posso definir regras diferentes para bots diferentes?

Sim. Adicione um grupo de User-agent separado para cada bot, por exemplo um para Googlebot e um para *. Cada grupo recebe suas próprias linhas Allow e Disallow na saída.

O que é Crawl-delay e devo usá-lo?

Crawl-delay pede que um crawler espere essa quantidade de segundos entre as requisições. Ele é respeitado por alguns mecanismos como o Bing, mas ignorado pelo Googlebot, então é opcional e fica em branco por padrão.

Meu robots.txt é enviado para um servidor?

Não. O gerador de robots.txt monta o arquivo no seu navegador enquanto você digita, então as regras e URLs de sitemap que você digita permanecem no seu dispositivo.

Gerador de robots.txt

Monte visualmente um arquivo robots.txt com regras de User-agent, caminhos Allow e Disallow, crawl-delay e sitemaps. Tudo roda no seu navegador.

Suas regras de robots.txt e URLs de sitemap são montadas localmente no seu navegador e nunca são enviadas.

Precisa de um sitemap também? Experimente o Gerador de Sitemap.

Sobre Gerador de robots.txt

Este gerador de robots.txt permite montar um arquivo robots.txt visualmente em vez de lembrar a sintaxe exata. Adicione um ou mais grupos de regras, cada um com um User-agent (padrão *) mais linhas de regras Allow e Disallow, depois defina um Crawl-delay opcional e liste as URLs do seu Sitemap. Botões de predefinição preenchem configurações comuns: Permitir tudo, Bloquear tudo, Bloquear caminhos de admin comuns como /admin e /cgi-bin, e uma configuração para WordPress. O painel de saída atualiza ao vivo enquanto você digita, formatando cada grupo corretamente com uma linha em branco entre os grupos e as linhas Sitemap no final. Quando uma regra de caminho não começa com uma barra, você recebe um aviso gentil em vez de um bloqueio. Copie o resultado ou baixe-o como robots.txt para colocar na raiz do seu site. Tudo é gerado no seu navegador, então nada do que você digita é enviado.

Recursos

Monte vários grupos de User-agent, cada um com seus próprios caminhos Allow e Disallow
Adicione ou remova linhas de caminho individuais para ajustar o que os crawlers podem visitar
Predefinições em um clique: Permitir tudo, Bloquear tudo, Bloquear caminhos de admin comuns e WordPress
Crawl-delay opcional e uma ou mais URLs de Sitemap absolutas
A saída ao vivo formata os grupos com uma linha em branco entre eles e os sitemaps no final
Avisa quando uma regra de caminho não começa com uma barra em vez de bloquear você
Copie o robots.txt gerado ou baixe-o como um arquivo robots.txt
Roda inteiramente no seu navegador, sem envio das suas regras

Como usar Gerador de robots.txt

Escolha uma predefinição como Permitir tudo ou Bloquear tudo, ou inicie um novo grupo de User-agent.
Defina o User-agent e adicione linhas de caminho Allow ou Disallow para esse grupo.
Opcionalmente, adicione um Crawl-delay e as URLs do seu Sitemap.
Revise o robots.txt ao vivo no painel de saída à direita.
Clique em Copiar ou Baixar para salvar o robots.txt e enviá-lo para a raiz do seu site.

Exemplo

Entrada

User-agent: *  →  Disallow: /admin, /cgi-bin/
Sitemap: https://example.com/sitemap.xml

Saída

User-agent: *
Disallow: /admin
Disallow: /cgi-bin/

Sitemap: https://example.com/sitemap.xml

Um único grupo bloqueando caminhos de admin, com um sitemap anexado no final.

Erros comuns e solução de problemas

Uma regra de caminho não tem efeito porque não começa com uma barra. — Comece cada valor de Allow e Disallow com /, por exemplo /admin ou /private/. O gerador sinaliza as regras que não fazem isso.
Disallow: / bloqueia acidentalmente o site inteiro dos mecanismos de busca. — Disallow: / diz aos crawlers para ignorar toda URL. Use a predefinição Permitir tudo ou um valor de Disallow vazio para permitir o rastreamento novamente.
A linha Sitemap é ignorada pelos crawlers. — Os valores de Sitemap devem ser URLs absolutas como https://example.com/sitemap.xml, não caminhos relativos como /sitemap.xml.
Os crawlers ainda indexam uma página que você bloqueou com Disallow. — O robots.txt apenas solicita que crawlers compatíveis não busquem uma URL; ele não remove páginas de um índice. Use uma meta tag ou cabeçalho noindex para isso.

Perguntas frequentes

O que Disallow: / faz?: Disallow: / diz a um crawler para não buscar nenhuma URL do site para aquele User-agent. É a base da predefinição Bloquear tudo, então use-a com cuidado em um site no ar.
Onde coloco o arquivo robots.txt?: Ele deve ficar na raiz do seu domínio, servido em https://example.com/robots.txt. Os crawlers só procuram lá, então um robots.txt em uma subpasta é ignorado.
Disallow remove uma página do Google?: Não. Disallow pede que crawlers compatíveis não busquem a URL, mas uma página bloqueada ainda pode aparecer nos resultados a partir de outros links. Use uma meta tag ou cabeçalho noindex para manter uma página fora do índice.
Posso definir regras diferentes para bots diferentes?: Sim. Adicione um grupo de User-agent separado para cada bot, por exemplo um para Googlebot e um para *. Cada grupo recebe suas próprias linhas Allow e Disallow na saída.
O que é Crawl-delay e devo usá-lo?: Crawl-delay pede que um crawler espere essa quantidade de segundos entre as requisições. Ele é respeitado por alguns mecanismos como o Bing, mas ignorado pelo Googlebot, então é opcional e fica em branco por padrão.
Meu robots.txt é enviado para um servidor?: Não. O gerador de robots.txt monta o arquivo no seu navegador enquanto você digita, então as regras e URLs de sitemap que você digita permanecem no seu dispositivo.

Ferramentas relacionadas

Gerador de Sitemap XML — Transforme uma lista de URLs em um sitemap.xml válido para SEO.
Gerador de .gitignore — Crie um .gitignore a partir de modelos comuns de linguagens e ferramentas.
Status HTTP e tipos MIME — Referência pesquisável de códigos de status HTTP e tipos de conteúdo MIME.
Gerador de Open Graph — Gere meta tags Open Graph e Twitter com prévia do card social.
Analisador de URL — Decomponha uma URL em suas partes e liste os parâmetros de consulta.