Robot.txt (Какие User-agent ?)

[-=lebed=-]

Предлагаю тут постить имена поисковых ботов так:
Рамблер - StackRambler
Яндекс - Yandex
Google - Googlebot
MSN – msnbot

ссылки по теме:
имена поисковых ботов (инфа 2005 года) (http://www.info-highsol.ru/seo_spider.htm)
синтаксис файла Robot.txt (http://k.brtv.ru/?c=stat&cww=&page=10)

PS Пишите тут имена популярных поисковых роботов.

[Isis]

Зачем?

[-=lebed=-]

Зачем?
Пригодится, когда делаешь дорвеи, заточенные под разные машины и так же при применении технологии маскирования страниц (page cloaking).

[ettee]

http://www.user-agents.org/index.shtml
все существующие (на 18.07.2007),разбиты по спискам.

[Feshh]

думаю в тему

Генератор дорвеев http://dump.ru/files/9/9479478125/

[-=lebed=-]

http://www.user-agents.org/index.shtml
все существующие (на 18.07.2007),разбиты по спискам.

Да все наверно не надо, имелось ввиду популярные в рунете...

[Isis]

Мда..сложно их подделать =\