Этот генератор robots.txt позволяет создать файл robots.txt визуально, а не запоминать точный синтаксис. Добавьте одну или несколько групп правил, каждую с User-agent (по умолчанию *), а также строками путей Allow и Disallow, затем задайте необязательный Crawl-delay и перечислите URL ваших Sitemap. Кнопки пресетов заполняют распространённые конфигурации: «Разрешить всё», «Запретить всё», «Заблокировать типичные админ-пути» вроде /admin и /cgi-bin и конфигурацию WordPress. Панель вывода обновляется вживую по мере набора, правильно форматируя каждую группу с пустой строкой между группами и строками Sitemap в конце. Когда правило пути не начинается со слеша, вы получаете мягкое предупреждение, а не блокировку. Скопируйте результат или скачайте его как robots.txt, чтобы разместить в корне сайта. Всё генерируется в вашем браузере, поэтому ничего из введённого не загружается.
Возможности
Создавайте несколько групп User-agent, каждую с собственными путями Allow и Disallow
Добавляйте или удаляйте отдельные строки путей, чтобы точно настроить, что могут посещать краулеры
Пресеты в один клик: «Разрешить всё», «Запретить всё», «Заблокировать типичные админ-пути» и WordPress
Необязательный Crawl-delay и один или несколько абсолютных URL Sitemap
Живой вывод форматирует группы с пустой строкой между ними и картами сайта в конце
Предупреждает, когда правило пути не начинается со слеша, вместо блокировки
Скопируйте сгенерированный robots.txt или скачайте его как файл robots.txt
Работает полностью в вашем браузере без загрузки ваших правил
Как использовать Генератор robots.txt
Выберите пресет вроде «Разрешить всё» или «Запретить всё», либо начните новую группу User-agent.
Задайте User-agent и добавьте строки путей Allow или Disallow для этой группы.
При желании добавьте Crawl-delay и URL ваших Sitemap.
Просмотрите живой robots.txt в панели вывода справа.
Нажмите «Копировать» или «Скачать», чтобы сохранить robots.txt и загрузить его в корень сайта.
Одна группа блокирует админ-пути, а карта сайта добавлена в конце.
Частые ошибки и устранение неполадок
Правило пути не действует, потому что не начинается со слеша. — Начинайте каждое значение Allow и Disallow с /, например /admin или /private/. Генератор помечает правила, которые этого не делают.
Disallow: / случайно блокирует весь сайт от поисковых систем. — Disallow: / велит краулерам пропускать каждый URL. Используйте пресет «Разрешить всё» или пустое значение Disallow, чтобы снова разрешить обход.
Строка Sitemap игнорируется краулерами. — Значения Sitemap должны быть абсолютными URL вроде https://example.com/sitemap.xml, а не относительными путями вроде /sitemap.xml.
Краулеры всё ещё индексируют страницу, которую вы запретили. — robots.txt лишь просит совместимые краулеры не запрашивать URL; он не удаляет страницы из индекса. Для этого используйте meta-тег или заголовок noindex.
Часто задаваемые вопросы
Что делает Disallow: /?
Disallow: / велит краулеру не запрашивать ни один URL сайта для этого User-agent. Это основа пресета «Запретить всё», поэтому используйте его осторожно на работающем сайте.
Куда поместить файл robots.txt?
Он должен находиться в корне вашего домена, отдаваться по адресу https://example.com/robots.txt. Краулеры смотрят только туда, поэтому robots.txt во вложенной папке игнорируется.
Удаляет ли Disallow страницу из Google?
Нет. Disallow просит совместимые краулеры не запрашивать URL, но заблокированная страница всё равно может появиться в результатах по другим ссылкам. Используйте meta-тег или заголовок noindex, чтобы держать страницу вне индекса.
Можно ли задать разные правила для разных ботов?
Да. Добавьте отдельную группу User-agent для каждого бота, например одну для Googlebot и одну для *. Каждая группа получает свои строки Allow и Disallow в выводе.
Что такое Crawl-delay и стоит ли его использовать?
Crawl-delay просит краулер ждать столько секунд между запросами. Он соблюдается некоторыми системами вроде Bing, но игнорируется Googlebot, поэтому он необязателен и по умолчанию оставлен пустым.
Отправляется ли мой robots.txt на сервер?
Нет. Генератор robots.txt создаёт файл в вашем браузере по мере набора, поэтому введённые правила и URL карты сайта остаются на вашем устройстве.