Disallow: / क्या करता है?

Disallow: / उस user-agent के लिए एक क्रॉलर को साइट पर कोई भी URL न लाने के लिए कहता है। यह Block all प्रीसेट का आधार है, इसलिए एक लाइव साइट पर इसे सावधानी से उपयोग करें।

मैं robots.txt फ़ाइल कहाँ रखूँ?

यह आपके डोमेन की रूट पर होनी चाहिए, https://example.com/robots.txt पर सर्व की गई। क्रॉलर केवल वहीं देखते हैं, इसलिए किसी सबफ़ोल्डर में एक robots.txt नज़रअंदाज़ की जाती है।

क्या Disallow किसी पेज को Google से हटा देता है?

नहीं। Disallow अनुपालक क्रॉलर से URL न लाने का अनुरोध करता है, पर एक ब्लॉक किया गया पेज फिर भी अन्य लिंक से परिणामों में दिख सकता है। किसी पेज को इंडेक्स से बाहर रखने के लिए एक noindex मेटा टैग या हेडर उपयोग करें।

क्या मैं अलग बॉट्स के लिए अलग नियम सेट कर सकता हूँ?

हाँ। हर बॉट के लिए एक अलग user-agent समूह जोड़ें, उदाहरण के लिए एक Googlebot के लिए और एक * के लिए। हर समूह को आउटपुट में अपनी Allow और Disallow लाइनें मिलती हैं।

Crawl-delay क्या है और क्या मुझे इसे उपयोग करना चाहिए?

Crawl-delay एक क्रॉलर से अनुरोधों के बीच उतने सेकंड प्रतीक्षा करने के लिए कहता है। यह Bing जैसे कुछ इंजनों द्वारा माना जाता है पर Googlebot द्वारा नज़रअंदाज़ किया जाता है, इसलिए यह वैकल्पिक है और डिफ़ॉल्ट रूप से खाली छोड़ा जाता है।

क्या मेरी robots.txt किसी सर्वर पर भेजी जाती है?

नहीं। robots.txt generator फ़ाइल को टाइप करते ही आपके ब्राउज़र में बनाता है, इसलिए आपके दर्ज किए गए नियम और sitemap URL आपके डिवाइस पर ही रहते हैं।

robots.txt Generator

User-agent नियमों, allow और disallow पाथ, crawl-delay, और sitemaps के साथ एक robots.txt फ़ाइल दृश्य रूप से बनाएँ। सब कुछ आपके ब्राउज़र में चलता है।

आपके robots.txt नियम और sitemap URL आपके ब्राउज़र में लोकल रूप से जोड़े जाते हैं और कभी अपलोड नहीं होते।

एक sitemap भी चाहिए? Sitemap Generator आज़माएँ।

robots.txt Generator के बारे में

यह robots.txt generator आपको ठीक सिंटैक्स याद रखने के बजाय एक robots.txt फ़ाइल दृश्य रूप से बनाने देता है। एक या अधिक नियम समूह जोड़ें, हर एक में एक User-agent (डिफ़ॉल्ट *) के साथ Allow और Disallow पाथ पंक्तियाँ, फिर एक वैकल्पिक Crawl-delay सेट करें और अपने Sitemap URL सूचीबद्ध करें। प्रीसेट बटन सामान्य सेटअप भर देते हैं: Allow all, Block all, /admin और /cgi-bin जैसे सामान्य एडमिन पाथ ब्लॉक करना, और एक WordPress कॉन्फ़िगरेशन। आउटपुट पैनल टाइप करते ही लाइव अपडेट होता है, हर समूह को समूहों के बीच एक खाली लाइन और अंत में Sitemap लाइनों के साथ सही ढंग से फ़ॉर्मैट करता है। जब कोई पाथ नियम स्लैश से शुरू नहीं होता, तो आपको ब्लॉक के बजाय एक हल्की चेतावनी मिलती है। परिणाम कॉपी करें या अपनी साइट की रूट पर डालने के लिए उसे robots.txt के रूप में डाउनलोड करें। सब कुछ आपके ब्राउज़र में जनरेट होता है, इसलिए आपका टाइप किया गया कुछ भी अपलोड नहीं होता।

विशेषताएँ

कई user-agent समूह बनाएँ, हर एक में अपने Allow और Disallow पाथ
अलग-अलग पाथ पंक्तियाँ जोड़ें या हटाएँ ताकि आप ठीक कर सकें कि क्रॉलर क्या देख सकते हैं
एक-क्लिक प्रीसेट: Allow all, Block all, सामान्य एडमिन पाथ ब्लॉक करना, और WordPress
वैकल्पिक Crawl-delay और एक या अधिक पूर्ण Sitemap URL
लाइव आउटपुट समूहों को उनके बीच एक खाली लाइन और अंत में sitemaps के साथ फ़ॉर्मैट करता है
जब कोई पाथ नियम स्लैश से शुरू नहीं होता तो आपको ब्लॉक करने के बजाय चेतावनी देता है
जनरेट हुई robots.txt कॉपी करें या उसे robots.txt फ़ाइल के रूप में डाउनलोड करें
आपके नियमों के अपलोड के बिना पूरी तरह आपके ब्राउज़र में चलता है

robots.txt Generator का उपयोग कैसे करें

Allow all या Block all जैसा कोई प्रीसेट चुनें, या एक नया user-agent समूह शुरू करें।
User-agent सेट करें और उस समूह के लिए Allow या Disallow पाथ पंक्तियाँ जोड़ें।
वैकल्पिक रूप से एक Crawl-delay और अपने Sitemap URL जोड़ें।
दाईं ओर के आउटपुट पैनल में लाइव robots.txt की समीक्षा करें।
robots.txt सहेजने और अपनी साइट रूट पर अपलोड करने के लिए Copy या Download पर क्लिक करें।

उदाहरण

इनपुट

User-agent: *  →  Disallow: /admin, /cgi-bin/
Sitemap: https://example.com/sitemap.xml

आउटपुट

User-agent: *
Disallow: /admin
Disallow: /cgi-bin/

Sitemap: https://example.com/sitemap.xml

एडमिन पाथ ब्लॉक करने वाला एक अकेला समूह, अंत में एक sitemap जोड़ा गया।

सामान्य त्रुटियाँ और समस्या निवारण

एक पाथ नियम का कोई असर नहीं क्योंकि वह स्लैश से शुरू नहीं होता। — हर Allow और Disallow मान को / से शुरू करें, उदाहरण के लिए /admin या /private/। जनरेटर उन नियमों को चिह्नित करता है जो ऐसा नहीं करते।
Disallow: / गलती से पूरी साइट को सर्च इंजन से ब्लॉक कर देता है। — Disallow: / क्रॉलर्स को हर URL छोड़ने के लिए कहता है। फिर से क्रॉलिंग की अनुमति देने हेतु Allow all प्रीसेट या एक खाली Disallow मान उपयोग करें।
Sitemap लाइन क्रॉलर्स द्वारा नज़रअंदाज़ की जाती है। — Sitemap मान https://example.com/sitemap.xml जैसे पूर्ण URL होने चाहिए, न कि /sitemap.xml जैसे सापेक्ष पाथ।
क्रॉलर अब भी एक पेज इंडेक्स करते हैं जिसे आपने disallow किया था। — robots.txt केवल अनुरोध करता है कि अनुपालक क्रॉलर एक URL न लाएँ; यह पेजों को इंडेक्स से नहीं हटाता। उसके लिए एक noindex मेटा टैग या हेडर उपयोग करें।

अक्सर पूछे जाने वाले प्रश्न

Disallow: / क्या करता है?: Disallow: / उस user-agent के लिए एक क्रॉलर को साइट पर कोई भी URL न लाने के लिए कहता है। यह Block all प्रीसेट का आधार है, इसलिए एक लाइव साइट पर इसे सावधानी से उपयोग करें।
मैं robots.txt फ़ाइल कहाँ रखूँ?: यह आपके डोमेन की रूट पर होनी चाहिए, https://example.com/robots.txt पर सर्व की गई। क्रॉलर केवल वहीं देखते हैं, इसलिए किसी सबफ़ोल्डर में एक robots.txt नज़रअंदाज़ की जाती है।
क्या Disallow किसी पेज को Google से हटा देता है?: नहीं। Disallow अनुपालक क्रॉलर से URL न लाने का अनुरोध करता है, पर एक ब्लॉक किया गया पेज फिर भी अन्य लिंक से परिणामों में दिख सकता है। किसी पेज को इंडेक्स से बाहर रखने के लिए एक noindex मेटा टैग या हेडर उपयोग करें।
क्या मैं अलग बॉट्स के लिए अलग नियम सेट कर सकता हूँ?: हाँ। हर बॉट के लिए एक अलग user-agent समूह जोड़ें, उदाहरण के लिए एक Googlebot के लिए और एक * के लिए। हर समूह को आउटपुट में अपनी Allow और Disallow लाइनें मिलती हैं।
Crawl-delay क्या है और क्या मुझे इसे उपयोग करना चाहिए?: Crawl-delay एक क्रॉलर से अनुरोधों के बीच उतने सेकंड प्रतीक्षा करने के लिए कहता है। यह Bing जैसे कुछ इंजनों द्वारा माना जाता है पर Googlebot द्वारा नज़रअंदाज़ किया जाता है, इसलिए यह वैकल्पिक है और डिफ़ॉल्ट रूप से खाली छोड़ा जाता है।
क्या मेरी robots.txt किसी सर्वर पर भेजी जाती है?: नहीं। robots.txt generator फ़ाइल को टाइप करते ही आपके ब्राउज़र में बनाता है, इसलिए आपके दर्ज किए गए नियम और sitemap URL आपके डिवाइस पर ही रहते हैं।