Lorsqu'un moteur de recherche visite votre site Web, il lit le fichier Robots.txt, qui contient un ensemble spécial de règles. Par conséquent, ce fichier Robots.txt contient de nombreuses restrictions, telles que les répertoires que vous êtes autorisé à analyser et à indexer, et les répertoires que vous n'êtes pas autorisé à analyser et à indexer, et des règles similaires s'appliquent aux fichiers, pages Web et autres éléments qui vous ne souhaitez pas afficher dans les résultats de recherche publics. Par conséquent, le fichier Robots.txt est important pour sécuriser votre site Web contre les pirates car il vous permet de spécifier l'adresse de votre panneau d'administration et d'autres répertoires sensibles que vous ne souhaitez pas afficher dans les moteurs de recherche.
Alors, comment écrivez-vous des règles dans ce fichier robots.txt ? Eh bien, ce n'est pas facile pour les débutants et cela prend du temps d'écrire des fichiers robots.txt. C'est pourquoi Useotools.com propose l'outil gratuit Robots.txt Creator, qui vous permet de générer un fichier robots.txt en quelques secondes et en quelques clics seulement. Par conséquent, l'outil dispose d'une variété de paramètres, qui sont décrits ci-dessous.
Par défaut - Tous les robots sont : Il existe deux choix pour cette option : "Autorisé" et "Refusé". Réglez-le sur "Autorisé" si vous souhaitez que tous les robots des moteurs de recherche visitent et analysent votre site Web, mais Internet n'est pas si fiable. Il existe des robots malveillants, alors réglez-le sur "Refusé" si vous souhaitez mettre sur liste noire des robots ou des araignées spécifiques. Crawl-Delay : C'est une règle importante. Il permet aux araignées de retarder la numérisation pendant un certain temps. Par exemple, si vous avez un grand site avec un grand sitemap, vous ne voulez pas surcharger le serveur en permettant à l'araignée d'explorer votre site en même temps. Par conséquent, vous devez définir le délai d'exploration afin que les araignées explorent votre site Web lentement et ne surchargent pas le serveur. Plan du site : le plan du site est une autre règle importante. Si votre site Web est volumineux, vous devez conserver un plan du site afin que les robots des moteurs de recherche sachent quoi explorer. C'est très similaire à un plan de la ville pour les nouveaux visiteurs. Si votre site Web a un sitemap, vous pouvez le saisir ici. Robots de recherche : Voici une liste de robots/araignées de moteurs de recherche que vous pouvez accepter ou rejeter. Répertoires restreints : vous pouvez utiliser cette section pour spécifier des noms de répertoires et des chemins restreints que vous ne voulez pas que les moteurs de recherche explorent et regardent à l'intérieur.
