ANTICHAT.XYZ    VIDEO.ANTICHAT.XYZ    НОВЫЕ СООБЩЕНИЯ    ФОРУМ  
Баннер 1   Баннер 2

ANTICHAT — форум по информационной безопасности, OSINT и технологиям

ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию. Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club, и теперь снова доступен на новом адресе — forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.
Вернуться   Форум АНТИЧАТ > Программирование_OLD > PHP, PERL, MySQL, JavaScript
   
 
 
Опции темы Поиск в этой теме Опции просмотра

Паук - сборщик цен
  #1  
Старый 28.09.2009, 10:16
Atrill
Новичок
Регистрация: 14.05.2009
Сообщений: 7
Провел на форуме:
25398

Репутация: 0
По умолчанию Паук - сборщик цен

Доброго времени суток.
Есть сайт motorzona.ru
Я пишу паука, который будет автоматически забивать номера в поле поиска и собирать ответы по ценам. Проблема в том, что IIS не хочет почему-то принимать мои запросы. ПОчти неделю долбаюсь и не могу понять причины.
Вот мой запрос:

GET http://motorzona.ru/shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1 HTTP/1.0
Host: motorzona.ru
User-Agent: Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: ru,en-us;q=0.7,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Referer: http://motorzona.ru/Default.asp
Cookie: emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fcmd%3D0020 0600000000000110000000000000000&UID=%7BE82A4EC9%2D B6EA%2D4F4E%2DA8D4%2DEECC99052435%7D&currency=rub; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b;

ответ сервера:
HTTP/1.1 404 Not Found
Content-Length: 1635
Content-Type: text/html
Server: Microsoft-IIS/6.0
X-Powered-By: ASP.NET
Date: Mon, 28 Sep 2009 06:03:31 GMT
Connection: close

<!DOCTYPE H ... и так далее

Интересно то, что когда я этот адрес ввожу в firefox, всё работает. Вот что выдаёт temper data:

Адрес:
URL=http://motorzona.ru/shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1
Запрос:
Host=motorzona.ru
User-Agent=Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
Accept=text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language=ru,en-us;q=0.7,en;q=0.3
Accept-Encoding=gzip,deflate
Accept-Charset=windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive=300
Proxy-Connection=keep-alive
Cookie=emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fmxc d%2Dpartn%3D99404960%26mxcd%2Dpara%3D1%26mxcd%2Dbp art%2Ex%3D1%26mxcd%2Dbpart%2Ey%3D1%26cmd%3D0020060 0000000000110000000000000000%26its%3D0&currency=ru b&UID=%7BE82A4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC99052 435%7D; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b

Ответ:
Status=Object moved - 302
Date=Mon, 28 Sep 2009 06:08:39 GMT
Server=Microsoft-IIS/6.0
X-Powered-By=ASP.NET
Pragma=no-cache
Location=http://motorzona.ru/shop/part-info07PDC/default.asp
Content-Length=172
Content-Type=text/html; Charset=windows-1251
Expires=Mon, 28 Sep 2009 06:08:39 GMT
Set-Cookie=emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fmxc d%2Dpartn%3D99404960%26mxcd%2Dpara%3D1%26mxcd%2Dbp art%2Ex%3D1%26mxcd%2Dbpart%2Ey%3D1%26cmd%3D0020060 0000000000110000000000000000%26its%3D0&UID=%7BE82A 4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC99052435%7D&curren cy=rub; path=/
Cache-Control=no-cache
Proxy-Connection=Keep-Alive

По идее сервер должен выставлять cookie и пересылать, но я не понимаю впочему он выдаёт 404.
 

  #2  
Старый 28.09.2009, 10:37
0rs
Познающий
Регистрация: 30.12.2008
Сообщений: 64
Провел на форуме:
647156

Репутация: 76
Отправить сообщение для 0rs с помощью ICQ
По умолчанию

Надо делать GET запрос без http и хоста
Код:
GET /shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1 HTTP/1.0
Если это конечно не запрос через прокси.

Последний раз редактировалось 0rs; 28.09.2009 в 10:41..
 

  #3  
Старый 28.09.2009, 10:44
Atrill
Новичок
Регистрация: 14.05.2009
Сообщений: 7
Провел на форуме:
25398

Репутация: 0
По умолчанию

Изменил запрос. Однако по прежнему результат 404.

GET /shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1 HTTP/1.0
User-Agent: Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: ru,en-us;q=0.7,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Referer: http://motorzona.ru/Default.asp
Cookie: emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fcmd%3D0020 0600000000000110000000000000000&UID=%7BE82A4EC9%2D B6EA%2D4F4E%2DA8D4%2DEECC99052435%7D&currency=rub; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b;
 

  #4  
Старый 28.09.2009, 10:47
zeppe1in
Постоянный
Регистрация: 12.07.2006
Сообщений: 327
Провел на форуме:
1654818

Репутация: 117
По умолчанию

а где Host: ?)
 

  #5  
Старый 28.09.2009, 10:52
Atrill
Новичок
Регистрация: 14.05.2009
Сообщений: 7
Провел на форуме:
25398

Репутация: 0
По умолчанию

Ура! Спасибо! Ответил 302.
С апачем таких проблем раньше не было.

+++
 
 





Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 


Быстрый переход




ANTICHAT.XYZ