Naydav
06.11.2007, 13:35
Правильно ли составлен robots.txt если необходимо запретить индексацию сайта всем поисковикам кроме - Yandex, Google, Rambler, Meta, Bigmir
User-agent: Yandex
User-agent: Googlebot
User-agent: BigmirSpider
User-agent: MetaSpider
User-agent: StackRambler
Disallow:
Host: www.site.com
User-agent: *
Disallow: /
---
User-agent: Yandex
User-agent: Googlebot
User-agent: BigmirSpider
User-agent: MetaSpider
User-agent: StackRambler
Disallow:
Host: www.site.com
User-agent: *
Disallow: /
---