Creador de robots.txt


Predeterminado - Todos los robots son:  
    
Retardo de rastreo:
    
Mapa del sitio: (deje en blanco si no tiene) 
     
Robots de búsqueda: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener una barra diagonal. "/"
 
 
 
 
 
 
   



Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copia el texto anterior y pégalo en el archivo de texto.




Acerca de Creador de robots.txt

¿Qué es Robots.txt?

Cuando una araña de motor de búsqueda visita su sitio web, lee el archivo Robots.txt, que contiene un conjunto especial de reglas. Como resultado, este archivo Robots.txt contiene numerosas restricciones, como qué directorios puede escanear e indexar y qué directorios no puede escanear e indexar, y reglas similares se aplican a archivos, páginas web y otros elementos que que no desea mostrar en los resultados de búsqueda públicos. Como resultado, el archivo Robots.txt es importante para proteger su sitio web de los piratas informáticos, ya que le permite especificar la dirección de su panel de administración y otros directorios confidenciales que no desea mostrar en los motores de búsqueda.

¿Qué es Useotools Robots.txt Creator?

Entonces, ¿cómo se escriben reglas en este archivo robots.txt? Bueno, no es fácil para los principiantes y lleva tiempo escribir archivos robots.txt. Es por eso que Useotools.com ofrece la herramienta gratuita Robots.txt Creator, que le permite generar un archivo robots.txt en cuestión de segundos con solo unos pocos clics. Como resultado, la herramienta tiene una variedad de configuraciones, que se describen a continuación.

Predeterminado: Todos los robots son: Hay dos opciones para esta opción: "Permitido" y "Rechazado". Establézcalo en "Permitido" si desea que todos los robots de los motores de búsqueda visiten y escaneen su sitio web, pero Internet no es tan confiable. Hay algunos bots desagradables, así que configúrelo en "Rechazado" si desea incluir en la lista negra robots o arañas específicos. Crawl-Delay: Es una regla importante. Permite que las arañas retrasen el escaneo durante un período de tiempo determinado. Por ejemplo, si tiene un sitio grande con un mapa del sitio grande, no querrá sobrecargar el servidor permitiendo que la araña explore su sitio al mismo tiempo. Como resultado, debe configurar Crawl Delay para que las arañas rastreen su sitio web lentamente y no sobrecarguen el servidor. Mapa del sitio: El mapa del sitio es otra regla importante. Si su sitio web es grande, debe mantener un mapa del sitio para que las arañas de los motores de búsqueda sepan qué explorar. Es muy similar a un mapa de la ciudad para nuevos visitantes. Si su sitio web tiene un mapa del sitio, puede ingresarlo aquí. Robots de búsqueda: aquí hay una lista de robots/arañas de motores de búsqueda que puede aceptar o rechazar. Directorios restringidos: puede usar esta sección para especificar nombres de directorios restringidos y rutas que no desea que los motores de búsqueda rastreen y busquen en su interior.

Tus pensamientos


Buscar
PATROCINADOR
RELOJ CRIPTO
SÍGANOS
últimos tweets

Nueva herramienta agregada: Calculadora de dimensiones de zoom SVG.

PATROCINADOR