Antichat снова доступен.
Форум Antichat (Античат) возвращается и снова открыт для пользователей.
Здесь обсуждаются безопасность, программирование, технологии и многое другое.
Сообщество снова собирается вместе.
Новый адрес: forum.antichat.xyz
 |

28.09.2009, 10:16
|
|
Новичок
Регистрация: 14.05.2009
Сообщений: 7
Провел на форуме: 25398
Репутация:
0
|
|
Паук - сборщик цен
Доброго времени суток.
Есть сайт motorzona.ru
Я пишу паука, который будет автоматически забивать номера в поле поиска и собирать ответы по ценам. Проблема в том, что IIS не хочет почему-то принимать мои запросы. ПОчти неделю долбаюсь и не могу понять причины.
Вот мой запрос:
GET http://motorzona.ru/shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1 HTTP/1.0
Host: motorzona.ru
User-Agent: Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: ru,en-us;q=0.7,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Referer: http://motorzona.ru/Default.asp
Cookie: emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fcmd%3D0020 0600000000000110000000000000000&UID=%7BE82A4EC9%2D B6EA%2D4F4E%2DA8D4%2DEECC99052435%7D¤cy=rub; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b;
ответ сервера:
HTTP/1.1 404 Not Found
Content-Length: 1635
Content-Type: text/html
Server: Microsoft-IIS/6.0
X-Powered-By: ASP.NET
Date: Mon, 28 Sep 2009 06:03:31 GMT
Connection: close
<!DOCTYPE H ... и так далее
Интересно то, что когда я этот адрес ввожу в firefox, всё работает. Вот что выдаёт temper data:
Адрес:
URL=http://motorzona.ru/shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1
Запрос:
Host=motorzona.ru
User-Agent=Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
Accept=text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language=ru,en-us;q=0.7,en;q=0.3
Accept-Encoding=gzip,deflate
Accept-Charset=windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive=300
Proxy-Connection=keep-alive
Cookie=emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fmxc d%2Dpartn%3D99404960%26mxcd%2Dpara%3D1%26mxcd%2Dbp art%2Ex%3D1%26mxcd%2Dbpart%2Ey%3D1%26cmd%3D0020060 0000000000110000000000000000%26its%3D0¤cy=ru b&UID=%7BE82A4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC99052 435%7D; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b
Ответ:
Status=Object moved - 302
Date=Mon, 28 Sep 2009 06:08:39 GMT
Server=Microsoft-IIS/6.0
X-Powered-By=ASP.NET
Pragma=no-cache
Location=http://motorzona.ru/shop/part-info07PDC/default.asp
Content-Length=172
Content-Type=text/html; Charset=windows-1251
Expires=Mon, 28 Sep 2009 06:08:39 GMT
Set-Cookie=emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fmxc d%2Dpartn%3D99404960%26mxcd%2Dpara%3D1%26mxcd%2Dbp art%2Ex%3D1%26mxcd%2Dbpart%2Ey%3D1%26cmd%3D0020060 0000000000110000000000000000%26its%3D0&UID=%7BE82A 4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC99052435%7D¤ cy=rub; path=/
Cache-Control=no-cache
Proxy-Connection=Keep-Alive
По идее сервер должен выставлять cookie и пересылать, но я не понимаю впочему он выдаёт 404.
|
|
|

28.09.2009, 10:37
|
|
Познающий
Регистрация: 30.12.2008
Сообщений: 64
Провел на форуме: 647156
Репутация:
76
|
|
Надо делать GET запрос без http и хоста
Код:
GET /shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1 HTTP/1.0
Если это конечно не запрос через прокси.
Последний раз редактировалось 0rs; 28.09.2009 в 10:41..
|
|
|

28.09.2009, 10:44
|
|
Новичок
Регистрация: 14.05.2009
Сообщений: 7
Провел на форуме: 25398
Репутация:
0
|
|
Изменил запрос. Однако по прежнему результат 404.
GET /shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1 HTTP/1.0
User-Agent: Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: ru,en-us;q=0.7,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Referer: http://motorzona.ru/Default.asp
Cookie: emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fcmd%3D0020 0600000000000110000000000000000&UID=%7BE82A4EC9%2D B6EA%2D4F4E%2DA8D4%2DEECC99052435%7D¤cy=rub; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b;
|
|
|

28.09.2009, 10:47
|
|
Постоянный
Регистрация: 12.07.2006
Сообщений: 327
Провел на форуме: 1654818
Репутация:
117
|
|
а где Host: ?)
|
|
|

28.09.2009, 10:52
|
|
Новичок
Регистрация: 14.05.2009
Сообщений: 7
Провел на форуме: 25398
Репутация:
0
|
|
Ура! Спасибо! Ответил 302.
С апачем таких проблем раньше не было.
+++
|
|
|
|
 |
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|