जब कोई सर्च इंजन स्पाइडर आपकी वेबसाइट पर जाता है, तो वह Robots.txt फ़ाइल को पढ़ता है, जिसमें नियमों का एक विशेष सेट होता है। परिणामस्वरूप, इस Robots.txt फ़ाइल में कई प्रतिबंध हैं, जैसे कि आपको किन निर्देशिकाओं को स्कैन और अनुक्रमित करने की अनुमति है, और किन निर्देशिकाओं को आपको स्कैन और अनुक्रमणित करने की अनुमति नहीं है, और इसी तरह के नियम उन फ़ाइलों, वेबपृष्ठों और अन्य मदों पर लागू होते हैं जो आप सार्वजनिक खोज परिणामों में प्रदर्शित नहीं करना चाहते हैं। परिणामस्वरूप, आपकी वेबसाइट को हैकर्स से सुरक्षित रखने के लिए robots.txt फ़ाइल महत्वपूर्ण है क्योंकि यह आपको अपने व्यवस्थापक पैनल और अन्य संवेदनशील निर्देशिकाओं का पता निर्दिष्ट करने की अनुमति देती है जिन्हें आप खोज इंजन में प्रदर्शित नहीं करना चाहते हैं।
तो, आप इस robots.txt फ़ाइल में नियम कैसे लिखते हैं? खैर, शुरुआती लोगों के लिए यह आसान नहीं है, और robots.txt फ़ाइलें लिखने में समय लगता है। यही कारण है कि Useotools.com मुफ्त टूल Robots.txt Creator प्रदान करता है, जो आपको केवल कुछ ही क्लिक के साथ कुछ ही सेकंड में robots.txt फ़ाइल बनाने की अनुमति देता है। परिणामस्वरूप, टूल में कई प्रकार की सेटिंग्स होती हैं, जिन्हें नीचे उल्लिखित किया गया है।
डिफ़ॉल्ट - सभी रोबोट हैं: इस विकल्प के लिए दो विकल्प हैं: "अनुमति" और "अस्वीकार।" यदि आप चाहते हैं कि सभी खोज इंजन रोबोट आपकी वेबसाइट पर जाएँ और स्कैन करें, तो इसे "अनुमति" पर सेट करें, लेकिन इंटरनेट उतना विश्वसनीय नहीं है। वहाँ कुछ खराब बॉट हैं, इसलिए यदि आप विशिष्ट रोबोट या मकड़ियों को ब्लैकलिस्ट करना चाहते हैं तो इसे "अस्वीकार" पर सेट करें। क्रॉल-विलंब: यह एक महत्वपूर्ण नियम है। यह मकड़ियों को एक विशेष समय के लिए स्कैनिंग में देरी करने की अनुमति देता है। उदाहरण के लिए, यदि आपके पास एक बड़े साइटमैप के साथ एक बड़ी साइट है, तो आप स्पाइडर को उसी समय आपकी साइट का पता लगाने की अनुमति देकर सर्वर को ओवरलोड नहीं करना चाहते हैं। परिणामस्वरूप, आपको Crawl Delay सेट करना चाहिए ताकि स्पाइडर आपकी वेबसाइट को धीरे-धीरे क्रॉल करें और सर्वर को ओवरलोड न करें। साइटमैप: साइटमैप एक और महत्वपूर्ण नियम है। अगर आपकी वेबसाइट बड़ी है, तो आपको एक साइटमैप जरूर रखना चाहिए ताकि सर्च इंजन स्पाइडर को पता चले कि क्या एक्सप्लोर करना है। यह नए आगंतुकों के लिए शहर के नक्शे के समान है। अगर आपकी वेबसाइट का साइटमैप है, तो आप उसे यहां दर्ज कर सकते हैं। खोज रोबोट: यहां खोज इंजन रोबोट/मकड़ियों की एक सूची है जिसे आप स्वीकार या अस्वीकार कर सकते हैं। प्रतिबंधित निर्देशिकाएँ: आप इस अनुभाग का उपयोग प्रतिबंधित निर्देशिका नाम और पथ निर्दिष्ट करने के लिए कर सकते हैं जिन्हें आप नहीं चाहते कि खोज इंजन क्रॉल करें और अंदर देखें।
