정보/로봇.txt
간단히 말해서
웹 사이트 소유자는/로봇을 사용합니다.txt 파일에 대한 지침을 제공하십시오웹 로봇에 대한 사이트;이를 로봇 ExclusionProtocol 이라고합니다.
User-agent: *Disallow: /
/robots 를 사용할 때 두 가지 중요한 고려 사항이 있습니다.txt:
- 로봇은/로봇을 무시할 수 있습니다.txt. 특히 보안 취약점을 검색하는 맬웨어 로봇과 스패머가 사용하는 이메일 주소 수확기는 아무런주의를 기울이지 않을 것입니다.
- the/robots.txt 파일은 공개적으로 사용 가능한 파일입니다., 누구나 어떤 부분을 볼 수 있습니다.서버가 로봇을 사용하기를 원하지 않습니다.
그래서 돈”t/로봇을 사용하려고합니다.정보를 숨기려면 txt.
참조:
- 나쁜 로봇 만 차단할 수 있습니까?
- 왜이 로봇이 내/로봇을 무시 했습니까?txt?
- /로봇의 보안 의미는 무엇입니까.txt?
세부 사항
The/robots.txt 는 사실상의 표준이며 anystandards body 가 소유하지 않습니다.두 가지 역사적 설명이 있습니다:
- 원래 1994RobotExclusion 문서의 표준.,
- 인터넷 1997 초안 사양기 위한 방법 WebRobots 컨트롤
는 또한 외부 자원
- HTML4.01 명세,부록 B.4.1
- 키-로봇은 제외 표준
/로봇입니다.txt 표준은 적극적으로 개발되지 않았습니다./로봇의 추가 개발에 대해 무엇을 참조하십시오.txt?더 많은 토론을 위해.
이 페이지의 나머지 부분은/로봇을 사용하는 방법에 대한 개요를 제공합니다.txt onyour 서버,몇 가지 간단한 recipes.To 자세한 내용은 FAQ 도 참조하십시오.
a/robots 를 만드는 방법.,txt 파일
어디에 넣을 지
짧은 대답:웹 서버의 최상위 디렉토리에 있습니다.로봇이”/robots”를 찾을 때 더 긴 대답:
.TXT”URL 용 파일,url(첫 번째 단일 슬래시의 모든 것)에서 경로 구성 요소를 제거하고”/robots.그 자리에 txt”.
그래서,웹 사이트 소유자로서 당신은 그 결과 URL 이 작동하도록 yourweb 서버에 적절한 장소에 넣어해야합니다. 보통 그것은 당신이 당신의 웹 사이트”의 주요”색인을 넣어 sameplace 입니다.html”welcomepage., 정확히 어디에 있고 거기에 파일을 넣는 방법은 다음에 달려 있습니다.귀하의 웹 서버 소프트웨어.
파일 이름에 모든 소문자를 사용하는 것을 기억하십시오:”로봇.Txt”가 아닌”로봇.TXT.
참조:
- /로봇을 만들기 위해 어떤 프로그램을 사용해야합니까?txt?
- 어떻게 사용합니까/로봇.가상 호스트에 txt?
- 어떻게 사용합니까/로봇.공유 호스트에 txt?
그 안에 넣을 것
The”/robots.txt”파일은 하나 이상의 레코드가있는 텍스트 파일입니다.일반적으로 포함하는 단일 기록처럼 보이:
User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/
이 예제에서는 세 개의 디렉토리는 제외합니다.,
참고해야 하는 별도의”금지”라인에 대한 모든 URL 접두사 youwant 을 제외–할 수 없습니다”말을 허용하지 않:/cgi-bin//tmp/”에 단일 라인입니다. 또한 레코드에 빈 줄이 없을 수도 있습니다.여러 레코드를 구분하는 데 사용됩니다.
제외하려는 내용은 서버에 따라 다릅니다. 명시 적으로 허용되지 않는 모든 것은 검색하는 페어 게임으로 간주됩니다., 여기에 따라 몇 가지 예:
를 제외한 모든 로봇의에서는 전체 server
User-agent: *Disallow: /
을 허용하는 모든 로봇의 완전한 접근
User-agent: *Disallow:
(또는 그냥 만들어져”/로봇입니다.txt”파일이나”t 를 사용하여 모든 하나)
를 제외한 모든 로봇의 일부로부터 server
User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /junk/
제외 단일 로봇
User-agent: BadBotDisallow: /
을 허용하는 하나의 로봇
User-agent: GoogleDisallow:User-agent: *Disallow: /
제외하고 모든 파일을 제외하고는 하나의
이것은 현재 어색한 비트, 로 없는 허용””필드입니다., Theeasy 방법을 넣고 모든 파일을 허용하지 않으로 separatedirectory,이 말하는”stuff”,고 하나의 파일에서 수준 abovethis 디렉토리
User-agent: *Disallow: /~joe/stuff/
할 수 있습니다 또는 명시적으로 허용하지 않는 모든 허용되지 않는 페이지:
User-agent: *Disallow: /~joe/junk.htmlDisallow: /~joe/foo.htmlDisallow: /~joe/bar.html