robots.txt Generator

User-agent नियमों, allow और disallow पाथ, crawl-delay, और sitemaps के साथ एक robots.txt फ़ाइल दृश्य रूप से बनाएँ। सब कुछ आपके ब्राउज़र में चलता है।

आपके robots.txt नियम और sitemap URL आपके ब्राउज़र में लोकल रूप से जोड़े जाते हैं और कभी अपलोड नहीं होते।

निर्माण और रखरखाव: Udit Agarwal

एक sitemap भी चाहिए? Sitemap Generator आज़माएँ।

robots.txt Generator के बारे में

यह robots.txt generator आपको ठीक सिंटैक्स याद रखने के बजाय एक robots.txt फ़ाइल दृश्य रूप से बनाने देता है। एक या अधिक नियम समूह जोड़ें, हर एक में एक User-agent (डिफ़ॉल्ट *) के साथ Allow और Disallow पाथ पंक्तियाँ, फिर एक वैकल्पिक Crawl-delay सेट करें और अपने Sitemap URL सूचीबद्ध करें। प्रीसेट बटन सामान्य सेटअप भर देते हैं: Allow all, Block all, /admin और /cgi-bin जैसे सामान्य एडमिन पाथ ब्लॉक करना, और एक WordPress कॉन्फ़िगरेशन। आउटपुट पैनल टाइप करते ही लाइव अपडेट होता है, हर समूह को समूहों के बीच एक खाली लाइन और अंत में Sitemap लाइनों के साथ सही ढंग से फ़ॉर्मैट करता है। जब कोई पाथ नियम स्लैश से शुरू नहीं होता, तो आपको ब्लॉक के बजाय एक हल्की चेतावनी मिलती है। परिणाम कॉपी करें या अपनी साइट की रूट पर डालने के लिए उसे robots.txt के रूप में डाउनलोड करें। सब कुछ आपके ब्राउज़र में जनरेट होता है, इसलिए आपका टाइप किया गया कुछ भी अपलोड नहीं होता।

विशेषताएँ

  • कई user-agent समूह बनाएँ, हर एक में अपने Allow और Disallow पाथ
  • अलग-अलग पाथ पंक्तियाँ जोड़ें या हटाएँ ताकि आप ठीक कर सकें कि क्रॉलर क्या देख सकते हैं
  • एक-क्लिक प्रीसेट: Allow all, Block all, सामान्य एडमिन पाथ ब्लॉक करना, और WordPress
  • वैकल्पिक Crawl-delay और एक या अधिक पूर्ण Sitemap URL
  • लाइव आउटपुट समूहों को उनके बीच एक खाली लाइन और अंत में sitemaps के साथ फ़ॉर्मैट करता है
  • जब कोई पाथ नियम स्लैश से शुरू नहीं होता तो आपको ब्लॉक करने के बजाय चेतावनी देता है
  • जनरेट हुई robots.txt कॉपी करें या उसे robots.txt फ़ाइल के रूप में डाउनलोड करें
  • आपके नियमों के अपलोड के बिना पूरी तरह आपके ब्राउज़र में चलता है

robots.txt Generator का उपयोग कैसे करें

  1. Allow all या Block all जैसा कोई प्रीसेट चुनें, या एक नया user-agent समूह शुरू करें।
  2. User-agent सेट करें और उस समूह के लिए Allow या Disallow पाथ पंक्तियाँ जोड़ें।
  3. वैकल्पिक रूप से एक Crawl-delay और अपने Sitemap URL जोड़ें।
  4. दाईं ओर के आउटपुट पैनल में लाइव robots.txt की समीक्षा करें।
  5. robots.txt सहेजने और अपनी साइट रूट पर अपलोड करने के लिए Copy या Download पर क्लिक करें।

उदाहरण

इनपुट

User-agent: *  →  Disallow: /admin, /cgi-bin/
Sitemap: https://example.com/sitemap.xml

आउटपुट

User-agent: *
Disallow: /admin
Disallow: /cgi-bin/

Sitemap: https://example.com/sitemap.xml

एडमिन पाथ ब्लॉक करने वाला एक अकेला समूह, अंत में एक sitemap जोड़ा गया।

सामान्य त्रुटियाँ और समस्या निवारण

  • एक पाथ नियम का कोई असर नहीं क्योंकि वह स्लैश से शुरू नहीं होता। — हर Allow और Disallow मान को / से शुरू करें, उदाहरण के लिए /admin या /private/। जनरेटर उन नियमों को चिह्नित करता है जो ऐसा नहीं करते।
  • Disallow: / गलती से पूरी साइट को सर्च इंजन से ब्लॉक कर देता है। — Disallow: / क्रॉलर्स को हर URL छोड़ने के लिए कहता है। फिर से क्रॉलिंग की अनुमति देने हेतु Allow all प्रीसेट या एक खाली Disallow मान उपयोग करें।
  • Sitemap लाइन क्रॉलर्स द्वारा नज़रअंदाज़ की जाती है। — Sitemap मान https://example.com/sitemap.xml जैसे पूर्ण URL होने चाहिए, न कि /sitemap.xml जैसे सापेक्ष पाथ।
  • क्रॉलर अब भी एक पेज इंडेक्स करते हैं जिसे आपने disallow किया था। — robots.txt केवल अनुरोध करता है कि अनुपालक क्रॉलर एक URL न लाएँ; यह पेजों को इंडेक्स से नहीं हटाता। उसके लिए एक noindex मेटा टैग या हेडर उपयोग करें।

अक्सर पूछे जाने वाले प्रश्न

Disallow: / क्या करता है?
Disallow: / उस user-agent के लिए एक क्रॉलर को साइट पर कोई भी URL न लाने के लिए कहता है। यह Block all प्रीसेट का आधार है, इसलिए एक लाइव साइट पर इसे सावधानी से उपयोग करें।
मैं robots.txt फ़ाइल कहाँ रखूँ?
यह आपके डोमेन की रूट पर होनी चाहिए, https://example.com/robots.txt पर सर्व की गई। क्रॉलर केवल वहीं देखते हैं, इसलिए किसी सबफ़ोल्डर में एक robots.txt नज़रअंदाज़ की जाती है।
क्या Disallow किसी पेज को Google से हटा देता है?
नहीं। Disallow अनुपालक क्रॉलर से URL न लाने का अनुरोध करता है, पर एक ब्लॉक किया गया पेज फिर भी अन्य लिंक से परिणामों में दिख सकता है। किसी पेज को इंडेक्स से बाहर रखने के लिए एक noindex मेटा टैग या हेडर उपयोग करें।
क्या मैं अलग बॉट्स के लिए अलग नियम सेट कर सकता हूँ?
हाँ। हर बॉट के लिए एक अलग user-agent समूह जोड़ें, उदाहरण के लिए एक Googlebot के लिए और एक * के लिए। हर समूह को आउटपुट में अपनी Allow और Disallow लाइनें मिलती हैं।
Crawl-delay क्या है और क्या मुझे इसे उपयोग करना चाहिए?
Crawl-delay एक क्रॉलर से अनुरोधों के बीच उतने सेकंड प्रतीक्षा करने के लिए कहता है। यह Bing जैसे कुछ इंजनों द्वारा माना जाता है पर Googlebot द्वारा नज़रअंदाज़ किया जाता है, इसलिए यह वैकल्पिक है और डिफ़ॉल्ट रूप से खाली छोड़ा जाता है।
क्या मेरी robots.txt किसी सर्वर पर भेजी जाती है?
नहीं। robots.txt generator फ़ाइल को टाइप करते ही आपके ब्राउज़र में बनाता है, इसलिए आपके दर्ज किए गए नियम और sitemap URL आपके डिवाइस पर ही रहते हैं।

संबंधित टूल

  • XML Sitemap Generator — URL की सूची को एक मान्य sitemap.xml में बदलें।
  • .gitignore जेनरेटर — सामान्य भाषा और टूल टेम्पलेट से .gitignore बनाएँ।
  • HTTP स्टेटस और MIME प्रकार — HTTP स्टेटस कोड और MIME कंटेंट प्रकार का खोज योग्य संदर्भ।
  • Open Graph जेनरेटर — सोशल कार्ड पूर्वावलोकन के साथ Open Graph और Twitter मेटा टैग जेनरेट करें।
  • URL पार्सर — URL को उसके भागों में तोड़ें और क्वेरी पैरामीटर सूचीबद्ध करें।

वेब और DevOps के और टूल

  • XML Sitemap Generator — URL की सूची को एक मान्य sitemap.xml में बदलें।
  • .htaccess Generator — HTTPS, redirects और caching के लिए Apache .htaccess नियम बनाएँ।
  • Nginx Config Generator — सरल टॉगल से एक पूर्ण nginx server block बनाएँ।
  • Semver Calculator — semantic संस्करणों को पार्स, तुलना, range-check, increment, और coerce करें।
  • Cache-Control हेडर जनरेटर — सादे टॉगल और मानवीय समय इकाइयों से एक सही HTTP Cache-Control हेडर बनाएँ।
  • Meta टैग जेनरेटर — एक फ़ॉर्म से SEO, Open Graph, और Twitter Card meta टैग जेनरेट करें।
  • CSP जेनरेटर — एक Content-Security-Policy हेडर निर्देश-दर-निर्देश बनाएँ।
  • htpasswd जेनरेटर — bcrypt या SHA-1 के साथ एक .htpasswd उपयोगकर्ता लाइन जेनरेट करें।
  • Tailwind Color जेनरेटर — एक ब्रांड रंग को OKLCH में एक पूर्ण 50-950 Tailwind शेड स्केल में बदलें।
  • CSS Grid जेनरेटर — एक CSS grid को विज़ुअल रूप से डिज़ाइन करें और साफ़ grid-template CSS कॉपी करें।
  • CSS clamp() कैलकुलेटर — न्यूनतम/अधिकतम आकार और viewport चौड़ाइयों को एक फ़्लूइड CSS clamp() मान में बदलें।
  • cubic-bezier() जेनरेटर — दो कंट्रोल बिंदु खींचकर एक CSS cubic-bezier() ईज़िंग वक्र आकार दें और टाइमिंग फ़ंक्शन कॉपी करें।

वेब और DevOps के सभी टूल देखें (27) · सभी टूल