Cuando una araña de motor de búsqueda visita su sitio web, lee el archivo Robots.txt, que contiene un conjunto especial de reglas. Como resultado, este archivo Robots.txt contiene numerosas restricciones, como qué directorios puede escanear e indexar y qué directorios no puede escanear e indexar, y reglas similares se aplican a archivos, páginas web y otros elementos que que no desea mostrar en los resultados de búsqueda públicos. Como resultado, el archivo Robots.txt es importante para proteger su sitio web de los piratas informáticos, ya que le permite especificar la dirección de su panel de administración y otros directorios confidenciales que no desea mostrar en los motores de búsqueda.
Entonces, ¿cómo se escriben reglas en este archivo robots.txt? Bueno, no es fácil para los principiantes y lleva tiempo escribir archivos robots.txt. Es por eso que Useotools.com ofrece la herramienta gratuita Robots.txt Creator, que le permite generar un archivo robots.txt en cuestión de segundos con solo unos pocos clics. Como resultado, la herramienta tiene una variedad de configuraciones, que se describen a continuación.
Predeterminado: Todos los robots son: Hay dos opciones para esta opción: "Permitido" y "Rechazado". Establézcalo en "Permitido" si desea que todos los robots de los motores de búsqueda visiten y escaneen su sitio web, pero Internet no es tan confiable. Hay algunos bots desagradables, así que configúrelo en "Rechazado" si desea incluir en la lista negra robots o arañas específicos. Crawl-Delay: Es una regla importante. Permite que las arañas retrasen el escaneo durante un período de tiempo determinado. Por ejemplo, si tiene un sitio grande con un mapa del sitio grande, no querrá sobrecargar el servidor permitiendo que la araña explore su sitio al mismo tiempo. Como resultado, debe configurar Crawl Delay para que las arañas rastreen su sitio web lentamente y no sobrecarguen el servidor. Mapa del sitio: El mapa del sitio es otra regla importante. Si su sitio web es grande, debe mantener un mapa del sitio para que las arañas de los motores de búsqueda sepan qué explorar. Es muy similar a un mapa de la ciudad para nuevos visitantes. Si su sitio web tiene un mapa del sitio, puede ingresarlo aquí. Robots de búsqueda: aquí hay una lista de robots/arañas de motores de búsqueda que puede aceptar o rechazar. Directorios restringidos: puede usar esta sección para especificar nombres de directorios restringidos y rutas que no desea que los motores de búsqueda rastreen y busquen en su interior.
