Saat spider mesin pencari mengunjungi situs web Anda, ia membaca file Robots.txt, yang berisi seperangkat aturan khusus. Akibatnya, file Robots.txt ini berisi banyak batasan, seperti direktori mana yang boleh Anda pindai dan indeks, dan direktori mana yang tidak boleh Anda pindai dan indeks, dan aturan serupa berlaku untuk file, halaman web, dan item lain yang Anda tidak ingin ditampilkan dalam hasil pencarian publik. Akibatnya, file Robots.txt penting untuk mengamankan situs web Anda dari peretas karena memungkinkan Anda menentukan alamat panel admin dan direktori sensitif lainnya yang tidak ingin Anda tampilkan di mesin telusur.
Jadi, bagaimana cara menulis aturan di file robots.txt ini? Yah, itu tidak mudah untuk pemula, dan butuh waktu untuk menulis file robots.txt. Itu sebabnya Useotools.com menyediakan alat gratis Robots.txt Creator, yang memungkinkan Anda menghasilkan file robots.txt dalam hitungan detik hanya dengan beberapa klik. Akibatnya, alat ini memiliki berbagai pengaturan, yang diuraikan di bawah ini.
Default - Semua Robot adalah: Ada dua pilihan untuk opsi ini: "Diizinkan" dan "Ditolak". Setel ke "Diizinkan" jika Anda ingin semua robot mesin telusur mengunjungi dan memindai situs web Anda, tetapi internet tidak dapat diandalkan. Ada beberapa bot jahat di luar sana, jadi atur ke "Ditolak" jika Anda ingin memasukkan robot atau laba-laba tertentu ke daftar hitam. Crawl-Delay: Ini adalah aturan penting. Hal ini memungkinkan laba-laba untuk menunda pemindaian untuk waktu tertentu. Misalnya, jika Anda memiliki situs besar dengan peta situs besar, Anda tidak ingin membebani server dengan mengizinkan laba-laba menjelajahi situs Anda secara bersamaan. Akibatnya, Anda harus mengatur Penundaan Perayapan agar laba-laba merayapi situs web Anda secara perlahan dan tidak membebani server. Peta Situs: Peta Situs adalah aturan penting lainnya. Jika situs web Anda besar, Anda harus menyimpan peta situs agar spider mesin telusur tahu apa yang harus dijelajahi. Ini sangat mirip dengan peta kota untuk pengunjung baru. Jika situs web Anda memiliki peta situs, Anda dapat memasukkannya di sini. Search Robots: Berikut adalah daftar robot/spider mesin pencari yang dapat Anda terima atau tolak. Direktori Terbatas: Anda dapat menggunakan bagian ini untuk menentukan nama direktori dan jalur terbatas yang tidak ingin dirayapi dan dilihat oleh mesin telusur.
