Site-ul web roboți pagini


despre /roboți.txt

pe scurt

proprietarii site-ului web folosesc / roboți.fișier txt pentru a da instrucțiuni despresite-ul lor la roboți web; aceasta se numește roboți Excludionprotocol.

User-agent: *Disallow: /

există două considerente importante atunci când se utilizează /roboți.txt:

  • roboții vă pot ignora / roboții.txt. Mai ales malware roboți care de scanare theweb pentru vulnerabilități de securitate, și adresa de e-mail de recoltat utilizate de către spammerswill acorde nici o atenție.
  • la / roboți.fișier txt este un fișier disponibil publicului., Oricine poate vedea ce secțiuni ale serverului dvs. nu doriți ca roboții să le folosească.deci, nu încercați să utilizați / roboți.txt pentru a ascunde informații.

    vezi și:

    • pot bloca doar roboți răi?
    • De ce acest robot mi-a ignorat /roboții.txt?
    • care sunt implicațiile de securitate ale /roboți.txt?

    detaliile

    roboții.txt este un standard de-facto, și nu este deținut de anystandards organism.Există două descrieri istorice:

    • original 1994 un Standard pentru documentul RobotExclusion.,în plus, există resurse externe:

      • HTML4.01 specificație, Anexa B. 4.1
      • Wikipedia – roboți standard de excludere

      /roboți.standardul txt nu este dezvoltat în mod activ.Vezi ce despre dezvoltarea în continuare a / Roboți.txt?pentru mai multe discuții.

      restul acestei pagini oferă o imagine de ansamblu a modului de utilizare /roboți.txt onyour server, cu unele simple recipes.To aflați mai multe consultați și întrebările frecvente.

      cum se creează un / roboți.,fișier txt

      unde să-l puneți

      răspunsul scurt: în directorul de nivel superior al serverului dvs. web.

      răspunsul mai lung:

      când un robot caută ” / roboți.txt” fișier pentru URL-ul, se benzi thepath componenta de URL-ul (Totul, de la primul slash singur),și pune „/roboți.txt ” în locul său.deci, ca proprietar de site web, trebuie să îl puneți la locul potrivit pe serverul dvs. web pentru ca URL-ul rezultat să funcționeze. De obicei, că este același loc în cazul în care ai pus site-ul web”s principal „index.html ” pagina de întâmpinare., Unde este exact și cum să puneți fișierul acolo, depinde desoftware-ul serverului web.

      nu uitați să utilizați toate litere mici pentru numele fișierului: „roboți.txt”, nu ” Roboți.TXT.

      vezi și:

      • ce program ar trebui să folosesc pentru a crea /roboți.txt?
      • Cum pot folosi / roboți.txt pe o gazdă virtuală?
      • Cum pot folosi / roboți.txt pe o gazdă partajată?

      ce să pună în ea

      ” / roboți.txt ” fișier este un fișier text, cu una sau mai multe înregistrări.De obicei conține o singură înregistrare care arată astfel:

      User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/

      în acest exemplu, trei directoare sunt excluse.,

      rețineți că aveți nevoie de o linie separată ” Disallow „pentru fiecare prefix URL pe care doriți să îl excludeți — nu puteți spune” Disallow: /cgi-bin/ /tmp/ ” pe o singură linie. De asemenea, este posibil să nu aveți linii goale într-o înregistrare, deoarece acesteasunt utilizate pentru a delimita mai multe înregistrări.

      ceea ce doriți să excludeți depinde de serverul dvs. Tot ceea ce nu este interzis în mod explicit este considerat fairgame pentru a prelua., De aici urmează câteva exemple:

      Pentru a exclude toate roboți din întregul server
      User-agent: *Disallow: /
      , Pentru a permite toate roboți acces complet
      User-agent: *Disallow:

      (sau doar a crea un gol „/roboți.txt” fișier, sau nu”nu utilizeaza deloc)

      Pentru a exclude toate roboți de la partea de server
      User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /junk/
      Pentru a exclude un singur robot
      User-agent: BadBotDisallow: /
      Pentru a permite un singur robot
      User-agent: GoogleDisallow:User-agent: *Disallow: /
      Pentru a exclude toate fișierele, cu excepția unuia

      Acesta este în prezent un pic ciudat, cum nu există nici „Permite” câmp., Theeasy mod este de a pune toate fișierele pentru a fi de nepermis într-un separatedirectory, spun „lucruri”, și se lasă la un fișier din nivelul mai susacest director:

      User-agent: *Disallow: /~joe/stuff/

      Alternativ, puteți interzice în mod explicit toate nepermis pagini:

      User-agent: *Disallow: /~joe/junk.htmlDisallow: /~joe/foo.htmlDisallow: /~joe/bar.html

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *