robots.txt 生成ツール

User-agentのルール、Allow/Disallowのパス、crawl-delay、サイトマップを備えたrobots.txtを視覚的に作成できます。すべてブラウザー内で動作します。

あなたのrobots.txtのルールとサイトマップURLはブラウザー内でローカルに組み立てられ、アップロードされることはありません。

サイトマップも必要ですか？サイトマップ生成ツールをお試しください。

robots.txt 生成ツール について

このrobots.txt生成ツールを使えば、正確な構文を覚える代わりにrobots.txtファイルを視覚的に作成できます。1つ以上のルールグループを追加し、それぞれにUser-agent（デフォルトは *）とAllow・Disallowのパス行を設定し、任意でCrawl-delayとSitemap URLを記載します。プリセットボタンは一般的な構成を埋め込みます。すべて許可、すべてブロック、/admin や /cgi-bin のような一般的な管理パスのブロック、そしてWordPress向けの構成です。出力パネルは入力に合わせてリアルタイムに更新され、各グループを正しく整形し、グループ間に空行を入れ、Sitemap行を末尾に配置します。パスのルールがスラッシュで始まっていない場合は、ブロックするのではなく軽い警告を表示します。結果をコピーするか、robots.txtとしてダウンロードしてサイトのルートに置けます。すべてはブラウザー内で生成されるため、入力した内容がアップロードされることはありません。

機能

robots.txt 生成ツール の使い方

  1. すべて許可やすべてブロックのようなプリセットを選ぶか、新しいUser-agentグループを開始します。
  2. そのグループのUser-agentを設定し、AllowまたはDisallowのパス行を追加します。
  3. 任意でCrawl-delayとSitemap URLを追加します。
  4. 右側の出力パネルでリアルタイムのrobots.txtを確認します。
  5. 「コピー」または「ダウンロード」をクリックしてrobots.txtを保存し、サイトのルートにアップロードします。

例

入力

User-agent: *  →  Disallow: /admin, /cgi-bin/
Sitemap: https://example.com/sitemap.xml

出力

User-agent: *
Disallow: /admin
Disallow: /cgi-bin/

Sitemap: https://example.com/sitemap.xml

管理パスをブロックする単一のグループに、サイトマップを末尾に付加した例です。

よくあるエラーとトラブルシューティング

よくある質問

Disallow: / は何をしますか?
Disallow: / は、そのUser-agentに対しサイト上のどのURLも取得しないようクローラーに伝えます。「すべてブロック」プリセットの基礎なので、稼働中のサイトでは慎重に使ってください。
robots.txtファイルはどこに置きますか?
ドメインのルートに置き、https://example.com/robots.txt で配信される必要があります。クローラーはそこしか見ないため、サブフォルダー内のrobots.txtは無視されます。
DisallowはGoogleからページを削除しますか?
いいえ。Disallowは準拠したクローラーにURLを取得しないよう依頼しますが、ブロックされたページも他のリンク経由で結果に表示されることがあります。ページをインデックスから外すには noindex のメタタグまたはヘッダーを使ってください。
ボットごとに異なるルールを設定できますか?
はい。ボットごとに別々のUser-agentグループを追加してください。例えば Googlebot 用と * 用です。各グループは出力に独自のAllow・Disallow行を持ちます。
Crawl-delayとは何で、使うべきですか?
Crawl-delayはリクエスト間にその秒数だけ待つようクローラーに依頼します。Bingなど一部のエンジンは尊重しますがGooglebotは無視するため任意で、デフォルトでは空欄です。
私のrobots.txtはサーバーに送信されますか?
いいえ。robots.txt生成ツールは入力に合わせてブラウザー内でファイルを作成するため、入力したルールとサイトマップURLはお使いのデバイスに留まります。

関連ツール

すべての ArrayKit ツール