Паук - сборщик цен [Архив]

Atrill

28.09.2009, 10:16

Доброго времени суток.
Есть сайт motorzona.ru
Я пишу паука, который будет автоматически забивать номера в поле поиска и собирать ответы по ценам. Проблема в том, что IIS не хочет почему-то принимать мои запросы. ПОчти неделю долбаюсь и не могу понять причины.
Вот мой запрос:

GET http://motorzona.ru/shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1 HTTP/1.0
Host: motorzona.ru
User-Agent: Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: ru,en-us;q=0.7,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Referer: http://motorzona.ru/Default.asp
Cookie: emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fcmd%3D0020 0600000000000110000000000000000&UID=%7BE82A4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC9905243 5%7D&currency=rub; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b;

ответ сервера:
HTTP/1.1 404 Not Found
Content-Length: 1635
Content-Type: text/html
Server: Microsoft-IIS/6.0
X-Powered-By: ASP.NET
Date: Mon, 28 Sep 2009 06:03:31 GMT
Connection: close

<!DOCTYPE H ... и так далее

Интересно то, что когда я этот адрес ввожу в firefox, всё работает. Вот что выдаёт temper data:

Адрес:
URL=http://motorzona.ru/shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1
Запрос:
Host=motorzona.ru
User-Agent=Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
Accept=text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language=ru,en-us;q=0.7,en;q=0.3
Accept-Encoding=gzip,deflate
Accept-Charset=windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive=300
Proxy-Connection=keep-alive
Cookie=emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fmxc d%2Dpartn%3D99404960%26mxcd%2Dpara%3D1%26mxcd%2Dbp art%2Ex%3D1%26mxcd%2Dbpart%2Ey%3D1%26cmd%3D0020060 0000000000110000000000000000%26its%3D0&currency=rub&UID=%7BE82A4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC9905243 5%7D; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b

Ответ:
Status=Object moved - 302
Date=Mon, 28 Sep 2009 06:08:39 GMT
Server=Microsoft-IIS/6.0
X-Powered-By=ASP.NET
Pragma=no-cache
Location=http://motorzona.ru/shop/part-info07PDC/default.asp
Content-Length=172
Content-Type=text/html; Charset=windows-1251
Expires=Mon, 28 Sep 2009 06:08:39 GMT
Set-Cookie=emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fmxc d%2Dpartn%3D99404960%26mxcd%2Dpara%3D1%26mxcd%2Dbp art%2Ex%3D1%26mxcd%2Dbpart%2Ey%3D1%26cmd%3D0020060 0000000000110000000000000000%26its%3D0&UID=%7BE82A4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC9905243 5%7D&currency=rub; path=/
Cache-Control=no-cache
Proxy-Connection=Keep-Alive

По идее сервер должен выставлять cookie и пересылать, но я не понимаю впочему он выдаёт 404.

Atrill

28.09.2009, 10:44

Изменил запрос. Однако по прежнему результат 404.

GET /shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1 HTTP/1.0
User-Agent: Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: ru,en-us;q=0.7,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Referer: http://motorzona.ru/Default.asp
Cookie: emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fcmd%3D0020 0600000000000110000000000000000&UID=%7BE82A4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC9905243 5%7D&currency=rub; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b;