যখন একটি সার্চ ইঞ্জিন স্পাইডার আপনার ওয়েবসাইট পরিদর্শন করে, তখন এটি Robots.txt ফাইলটি পড়ে, যাতে একটি বিশেষ নিয়ম রয়েছে। ফলস্বরূপ, এই Robots.txt ফাইলটিতে অনেকগুলি বিধিনিষেধ রয়েছে, যেমন আপনি কোন ডিরেক্টরিগুলিকে স্ক্যান এবং সূচীকরণের অনুমতি দিয়েছেন এবং কোন ডিরেক্টরিগুলিকে স্ক্যান এবং সূচীকরণের অনুমতি দেওয়া হয় না এবং অনুরূপ নিয়মগুলি ফাইল, ওয়েবপেজ এবং অন্যান্য আইটেমগুলির ক্ষেত্রে প্রযোজ্য। আপনি সর্বজনীন অনুসন্ধান ফলাফল প্রদর্শন করতে চান না. ফলস্বরূপ, Robots.txt ফাইলটি হ্যাকারদের থেকে আপনার ওয়েবসাইট সুরক্ষিত করার জন্য গুরুত্বপূর্ণ কারণ এটি আপনাকে আপনার অ্যাডমিন প্যানেলের ঠিকানা এবং অন্যান্য সংবেদনশীল ডিরেক্টরি উল্লেখ করতে দেয় যা আপনি সার্চ ইঞ্জিনে প্রদর্শন করতে চান না।
তাহলে, আপনি কিভাবে এই robots.txt ফাইলে নিয়ম লিখবেন? ঠিক আছে, নতুনদের জন্য এটা সহজ নয়, এবং robots.txt ফাইল লিখতে সময় লাগে। এজন্য Useotools.com বিনামূল্যের টুল Robots.txt ক্রিয়েটর প্রদান করে, যা আপনাকে কয়েক সেকেন্ডের মধ্যে একটি robots.txt ফাইল তৈরি করতে দেয় মাত্র কয়েক ক্লিকে। ফলস্বরূপ, টুলটিতে বিভিন্ন ধরনের সেটিংস রয়েছে, যেগুলি নীচে বর্ণিত হয়েছে৷
ডিফল্ট - সমস্ত রোবটগুলি হল: এই বিকল্পের জন্য দুটি পছন্দ রয়েছে: "অনুমতিপ্রাপ্ত" এবং "অস্বীকৃত।" আপনি যদি চান যে সমস্ত সার্চ ইঞ্জিন রোবট আপনার ওয়েবসাইট ভিজিট করুক এবং স্ক্যান করুক, তবে ইন্টারনেট ততটা নির্ভরযোগ্য নয়। সেখানে কিছু বাজে বট রয়েছে, তাই আপনি যদি নির্দিষ্ট রোবট বা মাকড়সাকে কালো তালিকাভুক্ত করতে চান তবে এটিকে "প্রত্যাখ্যান" এ সেট করুন। ক্রল-বিলম্ব: এটি একটি গুরুত্বপূর্ণ নিয়ম। এটি মাকড়সাকে একটি নির্দিষ্ট সময়ের জন্য স্ক্যানিং বিলম্বিত করতে দেয়। উদাহরণস্বরূপ, যদি আপনার একটি বড় সাইটম্যাপ সহ একটি বড় সাইট থাকে, তাহলে আপনি স্পাইডারটিকে একই সময়ে আপনার সাইটটি অন্বেষণ করার অনুমতি দিয়ে সার্ভারকে ওভারলোড করতে চান না। ফলস্বরূপ, আপনার ক্রল বিলম্ব সেট করা উচিত যাতে মাকড়সা ধীরে ধীরে আপনার ওয়েবসাইট ক্রল করে এবং সার্ভারকে ওভারলোড না করে। সাইটম্যাপ: সাইটম্যাপ আরেকটি গুরুত্বপূর্ণ নিয়ম। আপনার ওয়েবসাইট বড় হলে, আপনাকে অবশ্যই একটি সাইটম্যাপ রাখতে হবে যাতে সার্চ ইঞ্জিন স্পাইডাররা জানতে পারে কী অন্বেষণ করতে হবে। এটি নতুন দর্শকদের জন্য একটি শহরের মানচিত্রের অনুরূপ। আপনার ওয়েবসাইটের একটি সাইটম্যাপ থাকলে, আপনি এটি এখানে লিখতে পারেন। অনুসন্ধান রোবট: এখানে সার্চ ইঞ্জিন রোবট/মাকড়সার একটি তালিকা রয়েছে যা আপনি গ্রহণ বা প্রত্যাখ্যান করতে পারেন। সীমাবদ্ধ ডিরেক্টরি: আপনি এই বিভাগটি ব্যবহার করে সীমাবদ্ধ ডিরেক্টরির নাম এবং পাথগুলি নির্দিষ্ট করতে পারেন যেগুলি আপনি সার্চ ইঞ্জিনগুলি ক্রল করতে এবং ভিতরে দেখতে চান না৷
