despre /roboți.txt
pe scurt
proprietarii site-ului web folosesc / roboți.fișier txt pentru a da instrucțiuni despresite-ul lor la roboți web; aceasta se numește roboți Excludionprotocol.
User-agent: *Disallow: /
există două considerente importante atunci când se utilizează /roboți.txt:
- roboții vă pot ignora / roboții.txt. Mai ales malware roboți care de scanare theweb pentru vulnerabilități de securitate, și adresa de e-mail de recoltat utilizate de către spammerswill acorde nici o atenție.
- la / roboți.fișier txt este un fișier disponibil publicului., Oricine poate vedea ce secțiuni ale serverului dvs. nu doriți ca roboții să le folosească.deci, nu încercați să utilizați / roboți.txt pentru a ascunde informații.
vezi și:
- pot bloca doar roboți răi?
- De ce acest robot mi-a ignorat /roboții.txt?
- care sunt implicațiile de securitate ale /roboți.txt?
detaliile
roboții.txt este un standard de-facto, și nu este deținut de anystandards organism.Există două descrieri istorice:
- original 1994 un Standard pentru documentul RobotExclusion.,în plus, există resurse externe:
- HTML4.01 specificație, Anexa B. 4.1
- Wikipedia – roboți standard de excludere
/roboți.standardul txt nu este dezvoltat în mod activ.Vezi ce despre dezvoltarea în continuare a / Roboți.txt?pentru mai multe discuții.
restul acestei pagini oferă o imagine de ansamblu a modului de utilizare /roboți.txt onyour server, cu unele simple recipes.To aflați mai multe consultați și întrebările frecvente.
cum se creează un / roboți.,fișier txt
unde să-l puneți
răspunsul scurt: în directorul de nivel superior al serverului dvs. web.
răspunsul mai lung:
când un robot caută ” / roboți.txt” fișier pentru URL-ul, se benzi thepath componenta de URL-ul (Totul, de la primul slash singur),și pune „/roboți.txt ” în locul său.deci, ca proprietar de site web, trebuie să îl puneți la locul potrivit pe serverul dvs. web pentru ca URL-ul rezultat să funcționeze. De obicei, că este același loc în cazul în care ai pus site-ul web”s principal „index.html ” pagina de întâmpinare., Unde este exact și cum să puneți fișierul acolo, depinde desoftware-ul serverului web.
nu uitați să utilizați toate litere mici pentru numele fișierului: „roboți.txt”, nu ” Roboți.TXT.
vezi și:
- ce program ar trebui să folosesc pentru a crea /roboți.txt?
- Cum pot folosi / roboți.txt pe o gazdă virtuală?
- Cum pot folosi / roboți.txt pe o gazdă partajată?
ce să pună în ea
” / roboți.txt ” fișier este un fișier text, cu una sau mai multe înregistrări.De obicei conține o singură înregistrare care arată astfel:
User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/
în acest exemplu, trei directoare sunt excluse.,
rețineți că aveți nevoie de o linie separată ” Disallow „pentru fiecare prefix URL pe care doriți să îl excludeți — nu puteți spune” Disallow: /cgi-bin/ /tmp/ ” pe o singură linie. De asemenea, este posibil să nu aveți linii goale într-o înregistrare, deoarece acesteasunt utilizate pentru a delimita mai multe înregistrări.
ceea ce doriți să excludeți depinde de serverul dvs. Tot ceea ce nu este interzis în mod explicit este considerat fairgame pentru a prelua., De aici urmează câteva exemple:
Pentru a exclude toate roboți din întregul server
User-agent: *Disallow: /
, Pentru a permite toate roboți acces complet
User-agent: *Disallow:
(sau doar a crea un gol „/roboți.txt” fișier, sau nu”nu utilizeaza deloc)
Pentru a exclude toate roboți de la partea de server
User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /junk/
Pentru a exclude un singur robot
User-agent: BadBotDisallow: /
Pentru a permite un singur robot
User-agent: GoogleDisallow:User-agent: *Disallow: /
Pentru a exclude toate fișierele, cu excepția unuia
Acesta este în prezent un pic ciudat, cum nu există nici „Permite” câmp., Theeasy mod este de a pune toate fișierele pentru a fi de nepermis într-un separatedirectory, spun „lucruri”, și se lasă la un fișier din nivelul mai susacest director:
User-agent: *Disallow: /~joe/stuff/
Alternativ, puteți interzice în mod explicit toate nepermis pagini:
User-agent: *Disallow: /~joe/junk.htmlDisallow: /~joe/foo.htmlDisallow: /~joe/bar.html