Форум АНТИЧАТ - Robot.txt (Какие User-agent ?)

Форум АНТИЧАТ (https://forum.antichat.xyz/index.php)

- PHP, PERL, MySQL, JavaScript (https://forum.antichat.xyz/forumdisplay.php?f=37)

- - Robot.txt (Какие User-agent ?) (https://forum.antichat.xyz/showthread.php?t=45187)

-=lebed=-

24.07.2007 16:39

Robot.txt (Какие User-agent ?)

Предлагаю тут постить имена поисковых ботов так:
Рамблер - StackRambler
Яндекс - Yandex
Google - Googlebot
MSN – msnbot

ссылки по теме:
имена поисковых ботов (инфа 2005 года)
синтаксис файла Robot.txt

PS Пишите тут имена популярных поисковых роботов.

Isis	24.07.2007 16:46

Зачем?

-=lebed=-

24.07.2007 16:54

Цитата:

Сообщение от Isis

Зачем?

Пригодится, когда делаешь дорвеи, заточенные под разные машины и так же при применении технологии маскирования страниц (page cloaking).

ettee

24.07.2007 17:12

http://www.user-agents.org/index.shtml
все существующие (на 18.07.2007),разбиты по спискам.

Feshh

24.07.2007 17:16

думаю в тему

Генератор дорвеев http://dump.ru/files/9/9479478125/

-=lebed=-

24.07.2007 17:18

Цитата:

Сообщение от ettee

http://www.user-agents.org/index.shtml
все существующие (на 18.07.2007),разбиты по спискам.

Да все наверно не надо, имелось ввиду популярные в рунете...

Isis	24.07.2007 17:19

Мда..сложно их подделать =\

Время: 22:41