Когда поисковый робот посещает ваш веб-сайт, он читает файл Robots.txt, который содержит специальный набор правил. В результате этот файл Robots.txt содержит многочисленные ограничения, например, какие каталоги вам разрешено сканировать и индексировать, а какие каталоги вам не разрешено сканировать и индексировать, и аналогичные правила применяются к файлам, веб-страницам и другим элементам, которые вы не хотите отображать в общедоступных результатах поиска. В результате файл Robots.txt важен для защиты вашего сайта от хакеров, поскольку он позволяет вам указать адрес вашей панели администратора и других конфиденциальных каталогов, которые вы не хотите отображать в поисковых системах.
Итак, как вы пишете правила в этом файле robots.txt? Что ж, для новичков это непросто, и написание файлов robots.txt требует времени. Вот почему Useotools.com предоставляет бесплатный инструмент Robots.txt Creator, который позволяет создавать файл robots.txt за считанные секунды всего несколькими щелчками мыши. В результате инструмент имеет множество настроек, которые описаны ниже.
По умолчанию — все роботы: для этого параметра есть два варианта: «Разрешено» и «Отказано». Установите для него значение «Разрешено», если вы хотите, чтобы все роботы поисковых систем посещали и сканировали ваш сайт, но Интернет не так надежен. Там есть несколько неприятных ботов, поэтому установите для него значение «Отказано», если вы хотите занести в черный список определенных роботов или пауков. Crawl-Delay: Это важное правило. Это позволяет паукам откладывать сканирование на определенное время. Например, если у вас большой сайт с большой картой сайта, вы не хотите перегружать сервер, позволяя пауку одновременно исследовать ваш сайт. В результате вы должны установить задержку сканирования, чтобы пауки сканировали ваш сайт медленно и не перегружали сервер. Карта сайта: Карта сайта — еще одно важное правило. Если ваш веб-сайт большой, вы должны сохранить карту сайта, чтобы пауки поисковых систем знали, что исследовать. Это очень похоже на карту города для новых посетителей. Если на вашем сайте есть карта сайта, вы можете ввести ее здесь. Поисковые роботы: вот список поисковых роботов/пауков, которых вы можете либо принять, либо отклонить. Каталоги с ограниченным доступом. В этом разделе можно указать имена и пути к каталогам с ограниченным доступом, которые поисковые системы не должны сканировать и заглядывать внутрь.
