검색 엔진 스파이더가 웹사이트를 방문하면 특별한 규칙 세트가 포함된 Robots.txt 파일을 읽습니다. 결과적으로 이 Robots.txt 파일에는 스캔 및 인덱싱이 허용된 디렉토리, 스캔 및 인덱싱이 허용되지 않는 디렉토리와 같은 많은 제한 사항이 포함되어 있으며 유사한 규칙이 파일, 웹 페이지 및 기타 항목에 적용됩니다. 공개 검색 결과에 표시하고 싶지 않습니다. 결과적으로 Robots.txt 파일은 검색 엔진에 표시하고 싶지 않은 관리자 패널 및 기타 민감한 디렉토리의 주소를 지정할 수 있으므로 해커로부터 웹사이트를 보호하는 데 중요합니다.
이 robots.txt 파일에 규칙을 작성하는 방법은 무엇입니까? 글쎄, 초보자에게는 쉽지 않고 robots.txt 파일을 작성하는 데 시간이 걸립니다. 이것이 Useotools.com이 무료 도구인 Robots.txt Creator를 제공하는 이유입니다. 이 도구를 사용하면 단 몇 번의 클릭으로 몇 초 만에 robots.txt 파일을 생성할 수 있습니다. 결과적으로 이 도구에는 다양한 설정이 있으며 아래에 설명되어 있습니다.
기본값 - 모든 로봇은 다음과 같습니다. 이 옵션에는 "허용됨" 및 "거부됨"의 두 가지 선택 사항이 있습니다. 모든 검색 엔진 로봇이 웹사이트를 방문하여 스캔하도록 하고 싶지만 인터넷이 그렇게 안정적이지 않은 경우 "허용됨"으로 설정하십시오. 일부 불쾌한 봇이 있으므로 특정 로봇이나 거미를 블랙리스트에 추가하려면 "거부됨"으로 설정하십시오. 크롤링 지연: 중요한 규칙입니다. 스파이더가 특정 시간 동안 스캔을 지연시킬 수 있습니다. 예를 들어, 사이트맵이 큰 사이트가 있는 경우 스파이더가 동시에 사이트를 탐색할 수 있도록 하여 서버에 과부하가 걸리는 것을 원하지 않습니다. 따라서 스파이더가 웹 사이트를 천천히 크롤링하고 서버에 과부하가 걸리지 않도록 크롤링 지연을 설정해야 합니다. Sitemap: Sitemap은 또 다른 중요한 규칙입니다. 웹사이트가 큰 경우 검색 엔진 스파이더가 탐색할 대상을 알 수 있도록 사이트맵을 유지해야 합니다. 신규 방문자를 위한 도시 지도와 매우 유사합니다. 웹사이트에 사이트맵이 있는 경우 여기에 입력할 수 있습니다. 검색 로봇: 다음은 수락하거나 거부할 수 있는 검색 엔진 로봇/거미의 목록입니다. 제한된 디렉터리: 이 섹션을 사용하여 검색 엔진이 크롤링하고 내부를 들여다보지 않도록 하는 제한된 디렉터리 이름과 경로를 지정할 수 있습니다.
