Генератор robots.txt
Визуально создайте файл robots.txt с правилами User-agent, путями Allow и Disallow, crawl-delay и картами сайта. Всё работает в вашем браузере.
Ваши правила robots.txt и URL карты сайта собираются локально в вашем браузере и никогда не загружаются.
Нужна ещё и карта сайта? Попробуйте генератор Sitemap.
Об инструменте Генератор robots.txt
Этот генератор robots.txt позволяет создать файл robots.txt визуально, а не запоминать точный синтаксис. Добавьте одну или несколько групп правил, каждую с User-agent (по умолчанию *), а также строками путей Allow и Disallow, затем задайте необязательный Crawl-delay и перечислите URL ваших Sitemap. Кнопки пресетов заполняют распространённые конфигурации: «Разрешить всё», «Запретить всё», «Заблокировать типичные админ-пути» вроде /admin и /cgi-bin и конфигурацию WordPress. Панель вывода обновляется вживую по мере набора, правильно форматируя каждую группу с пустой строкой между группами и строками Sitemap в конце. Когда правило пути не начинается со слеша, вы получаете мягкое предупреждение, а не блокировку. Скопируйте результат или скачайте его как robots.txt, чтобы разместить в корне сайта. Всё генерируется в вашем браузере, поэтому ничего из введённого не загружается.
Возможности
- Создавайте несколько групп User-agent, каждую с собственными путями Allow и Disallow
- Добавляйте или удаляйте отдельные строки путей, чтобы точно настроить, что могут посещать краулеры
- Пресеты в один клик: «Разрешить всё», «Запретить всё», «Заблокировать типичные админ-пути» и WordPress
- Необязательный Crawl-delay и один или несколько абсолютных URL Sitemap
- Живой вывод форматирует группы с пустой строкой между ними и картами сайта в конце
- Предупреждает, когда правило пути не начинается со слеша, вместо блокировки
- Скопируйте сгенерированный robots.txt или скачайте его как файл robots.txt
- Работает полностью в вашем браузере без загрузки ваших правил
Как использовать Генератор robots.txt
- Выберите пресет вроде «Разрешить всё» или «Запретить всё», либо начните новую группу User-agent.
- Задайте User-agent и добавьте строки путей Allow или Disallow для этой группы.
- При желании добавьте Crawl-delay и URL ваших Sitemap.
- Просмотрите живой robots.txt в панели вывода справа.
- Нажмите «Копировать» или «Скачать», чтобы сохранить robots.txt и загрузить его в корень сайта.
Пример
Ввод
User-agent: * → Disallow: /admin, /cgi-bin/
Sitemap: https://example.com/sitemap.xml
Результат
User-agent: *
Disallow: /admin
Disallow: /cgi-bin/
Sitemap: https://example.com/sitemap.xml
Одна группа блокирует админ-пути, а карта сайта добавлена в конце.
Частые ошибки и устранение неполадок
- Правило пути не действует, потому что не начинается со слеша. — Начинайте каждое значение Allow и Disallow с /, например /admin или /private/. Генератор помечает правила, которые этого не делают.
- Disallow: / случайно блокирует весь сайт от поисковых систем. — Disallow: / велит краулерам пропускать каждый URL. Используйте пресет «Разрешить всё» или пустое значение Disallow, чтобы снова разрешить обход.
- Строка Sitemap игнорируется краулерами. — Значения Sitemap должны быть абсолютными URL вроде https://example.com/sitemap.xml, а не относительными путями вроде /sitemap.xml.
- Краулеры всё ещё индексируют страницу, которую вы запретили. — robots.txt лишь просит совместимые краулеры не запрашивать URL; он не удаляет страницы из индекса. Для этого используйте meta-тег или заголовок noindex.
Часто задаваемые вопросы
- Что делает Disallow: /?
- Disallow: / велит краулеру не запрашивать ни один URL сайта для этого User-agent. Это основа пресета «Запретить всё», поэтому используйте его осторожно на работающем сайте.
- Куда поместить файл robots.txt?
- Он должен находиться в корне вашего домена, отдаваться по адресу https://example.com/robots.txt. Краулеры смотрят только туда, поэтому robots.txt во вложенной папке игнорируется.
- Удаляет ли Disallow страницу из Google?
- Нет. Disallow просит совместимые краулеры не запрашивать URL, но заблокированная страница всё равно может появиться в результатах по другим ссылкам. Используйте meta-тег или заголовок noindex, чтобы держать страницу вне индекса.
- Можно ли задать разные правила для разных ботов?
- Да. Добавьте отдельную группу User-agent для каждого бота, например одну для Googlebot и одну для *. Каждая группа получает свои строки Allow и Disallow в выводе.
- Что такое Crawl-delay и стоит ли его использовать?
- Crawl-delay просит краулер ждать столько секунд между запросами. Он соблюдается некоторыми системами вроде Bing, но игнорируется Googlebot, поэтому он необязателен и по умолчанию оставлен пустым.
- Отправляется ли мой robots.txt на сервер?
- Нет. Генератор robots.txt создаёт файл в вашем браузере по мере набора, поэтому введённые правила и URL карты сайта остаются на вашем устройстве.
Связанные инструменты
Все инструменты ArrayKit