PDA

Просмотр полной версии : Правильно ли составлен robots.txt


Naydav
06.11.2007, 13:35
Правильно ли составлен robots.txt если необходимо запретить индексацию сайта всем поисковикам кроме - Yandex, Google, Rambler, Meta, Bigmir


User-agent: Yandex
User-agent: Googlebot
User-agent: BigmirSpider
User-agent: MetaSpider
User-agent: StackRambler
Disallow:
Host: www.site.com

User-agent: *
Disallow: /

---

halkfild
06.11.2007, 20:07
вроде правильно

некоторое потверждение
http://forum.antichat.ru/thread51728.html
http://www.fdmua.com/articles/5/32.html