Robots txt

Robots.txt je textový soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Tento soubor se musí nacházet v kořenovém adresáři daného webu (složka www).

Příklady

• * - všichni roboti
• Mezi položkami musí být prázdný řádek!

Zakázání indexování vyhledavačů

User-agent: * 
Disallow: /

Zakázaní googlbotu indexovat vše v adresáři /adr

User-Agent: Googlebot
Disallow: /adr/

Zakázání indexování vyhledavačů pro jednitlivé složky v kořenovém adresáři

User-agent: *

Disallow: /slozka/

Zakáže googlbotu procházení celého webu, ale povolí mu adresář /adr/

User-Agent: Googlebot

Disallow: /
Allow: /adr/

obr. 11-8 Nastavení - robots.txt