Бан поисковиком за частые запросы....

[LolFEm]

Собственно интересна тема.
Пишу парсер Яндекса, Гугла и Яши...
надо отпарсить 10000 запросов.

Сейчас стоит между запросами dalay = 1сек.
Будет ли бан за частые запросы, если да то как по большому кол-ву запросов с одного Ip...
Собственно вот кто знает через какое время поисковики дают бан за частое обращение к поиску...

[Vid0k]

может будет иногда когда гуугл ручками парсю после 10-20 страницы
пишет мол у вас какие траблы с компьютером и дальше ни как

[ДеЦл]

icq.com юзай

[Spyder]

ДеЦл, там походу тоже ввели ограничение

[ДеЦл]

мы ж с тобой кажись парсер писали?

[Spyder]

было дело =) вот он чё то нормально работать перестал =\
надо переделывать, а мне влом

[ДеЦл]

мне соответственно тоже)

[Piflit]

а у меня есть! =Р

[ДеЦл]

баян

[Vid0k]

а как возможно обойти эту фичу если она и на icq.com появиласть менять прокси?

[LolFEm]

Можно использовать прокси. Но если есть возможность ставить паузу между запросами можно просто скрипт Кроном форкать...

[BlackCats]

http://www.vengo.ru/
юзайте

[Spyder]

омг
попробуйте в гугле сразу на 12 страницу перейти с запросом inurl:""
он вас на*** пошлёт

[LolFEm]

мне не обязательно поиск делать по даполнительным параметрам.... просто запросы

http://www.yandex.ru/yandsearch?text=test

http://www.google.com/search?&rls=ru&q=test

[Spyder]

так гугл и не банит по обычным запросам =\