
06.11.2007, 13:35
|
|
Постоянный
Регистрация: 30.12.2006
Сообщений: 434
Провел на форуме: 849583
Репутация:
210
|
|
Правильно ли составлен robots.txt
Правильно ли составлен robots.txt если необходимо запретить индексацию сайта всем поисковикам кроме - Yandex, Google, Rambler, Meta, Bigmir
User-agent: Yandex
User-agent: Googlebot
User-agent: BigmirSpider
User-agent: MetaSpider
User-agent: StackRambler
Disallow:
Host: www.site.com
User-agent: *
Disallow: /
---
Последний раз редактировалось Naydav; 07.07.2008 в 17:29..
|
|
|