PDA

Просмотр полной версии : боты яндекса и гугла?


DiSi
28.01.2010, 22:09
есть ли список ip ботов гугла и яндекса? как я нангуглил вроде полного нету)
как тогда можна узанть что ето бот пришол на сайт?
если можна пример на пхп выполнения действия при заходе бота)

gold-goblin
29.01.2010, 02:01
в помощи гугла написан его юсер агент. Видел, но в каком точно разделе справки не помню.

Светлый
29.01.2010, 02:51
есть ли список ip ботов гугла и яндекса? как я нангуглил вроде полного нету)
как тогда можна узанть что ето бот пришол на сайт?
если можна пример на пхп выполнения действия при заходе бота)

http://usings.ru/2009/07/12/bot-stat/

mandalina
11.04.2010, 11:10
http://www.iplists.com/
http://www.db.ripe.net/whois?form_type=advanced&full_query_string=&searchtext=YANDEX-MNT&do_search=Search&inverse_attributes=mnt-by&ip_search_lvl=Default%28nearest+match%29&alt_database=ALL&object_type=inetnum

shiku
11.04.2010, 17:24
<?php
$bots = "google,yahoo,yandex";
$bot_array = explode(",", $bots);
$uagent = strtolower($_SERVER['HTTP_USER_AGENT']);
foreach($bot_array as $name)
{
$pos = strstr($uagent, $name);
if($pos !== false)
{
exit(header("Location: /404.php"));
}
}
header('Location: /1.php');
?>

Вот скриптик который фильтрует по юзерагенту(точнее по встречающимся в названии словам). Если это не бот-редирект на 1.php, если бот-нах с пляжа. По айпи труднее, там же целый диапазон айпишников, да и сам юзерагент не всегда типичный, у ботов часто используються обыкновенные