Robots.txt-Ersteller


Standard - Alle Roboter sind:  
    
Crawl-Verzögerung:
    
Seitenverzeichnis: (leer lassen, wenn Sie nicht haben) 
     
Roboter suchen: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Eingeschränkte Verzeichnisse: Der Pfad ist relativ zu root und muss einen abschließenden Schrägstrich enthalten "/"
 
 
 
 
 
 
   



Erstellen Sie jetzt die Datei "robots.txt" in Ihrem Stammverzeichnis. Kopieren Sie den obigen Text und fügen Sie ihn in die Textdatei ein.




Ãœber Robots.txt-Ersteller

Was ist Robots.txt?

Wenn ein Suchmaschinen-Spider Ihre Website besucht, liest er die Robots.txt-Datei, die einen speziellen Regelsatz enthält. Infolgedessen enthält diese Robots.txt-Datei zahlreiche Einschränkungen, z. B. welche Verzeichnisse Sie scannen und indizieren dürfen und welche Verzeichnisse Sie nicht scannen und indizieren dürfen, und ähnliche Regeln gelten für Dateien, Webseiten und andere Elemente, die Sie nicht in den öffentlichen Suchergebnissen anzeigen möchten. Daher ist die Robots.txt-Datei wichtig, um Ihre Website vor Hackern zu schützen, da sie es Ihnen ermöglicht, die Adresse Ihres Admin-Panels und anderer sensibler Verzeichnisse anzugeben, die Sie nicht in Suchmaschinen anzeigen möchten.

Was ist Useotools Robots.txt Creator?

Also, wie schreiben Sie Regeln in diese robots.txt-Datei? Nun, für Anfänger ist es nicht einfach, und es braucht Zeit, robots.txt-Dateien zu schreiben. Aus diesem Grund bietet Useotools.com das kostenlose Tool Robots.txt Creator an, mit dem Sie in Sekundenschnelle mit nur wenigen Klicks eine robots.txt-Datei erstellen können. Daher verfügt das Tool über eine Vielzahl von Einstellungen, die unten aufgeführt sind.

Standard - Alle Roboter sind: Es gibt zwei Möglichkeiten für diese Option: "Erlaubt" und "Abgelehnt". Setzen Sie es auf "Erlaubt", wenn Sie möchten, dass alle Suchmaschinenroboter Ihre Website besuchen und scannen, aber das Internet nicht so zuverlässig ist. Es gibt einige böse Bots, also stellen Sie es auf "Abgelehnt", wenn Sie bestimmte Roboter oder Spinnen auf die schwarze Liste setzen möchten. Crawl-Delay: Dies ist eine wichtige Regel. Es ermöglicht Spinnen, das Scannen um eine bestimmte Zeit zu verzögern. Wenn Sie beispielsweise eine große Website mit einer großen Sitemap haben, möchten Sie den Server nicht überlasten, indem Sie der Spinne erlauben, Ihre Website gleichzeitig zu erkunden. Daher sollten Sie Crawl Delay so einstellen, dass Spider Ihre Website langsam crawlen und den Server nicht überlasten. Sitemap: Sitemap ist eine weitere wichtige Regel. Wenn Ihre Website groß ist, müssen Sie eine Sitemap führen, damit Suchmaschinen-Spider wissen, was sie erkunden müssen. Es ist einem Stadtplan für neue Besucher sehr ähnlich. Wenn Ihre Website über eine Sitemap verfügt, können Sie diese hier eingeben. Suchroboter: Hier ist eine Liste von Suchmaschinenrobotern/-spidern, die Sie entweder akzeptieren oder ablehnen können. Eingeschränkte Verzeichnisse: Sie können diesen Abschnitt verwenden, um eingeschränkte Verzeichnisnamen und Pfade anzugeben, die Suchmaschinen nicht durchsuchen und durchsuchen sollen.

Ihre Gedanken


Suche
SPONSOR
Kryptouhr
FOLGE UNS
Neueste Tweets

Neues Tool hinzugefügt: SVG-Zoom-Dimensionsrechner.

SPONSOR