Proxy FAQ
 

Ввиду отсутствия на форуме нормального фака по проксям решил написать нечто подобное. По возможности старался делать материал кратким и максимум информативным. Никаких установок, настроек прокси-серверов и программ для их использования здесь не будет, рассматриваются только вопросы юзабилити. Итак, поехали.

Q: Что такое прокси-сервер?
A: Это служба(некая программа) на сервере, позволяющая выполнять косвенные запросы к службам на других серверах.

Q: Какие функции выполняет прокси?
A: Нижеперечисленные функции разумеется не являются обязательными для всех существующих прокси.
1. Кэширование данных.
2. Сжатие данных.
3. Анонимизация доступа.
4. Обеспечение, ограничение и защита доступа в Интернет компьютеров локальной сети.

Q: Какие типы прокси существуют?
A:
NAT proxy - самый простой вид прокси. NAT = network address translation (трансляция сетевых адресов). Входит в состав Windows начиная с версии 2000. Называется «Общий доступ к подключению интернета» и включается галочкой в свойствах соединения. Этот прокси работает прозрачно для пользователя, никаких специальных настроек в программах не требуется. Подробнее можно почитать здесь или wiki.
HTTP proxy - наиболее распространенный тип прокси. Как видно из названия - работает по протоколу HTTP. Если в программе явно не прописан тип используемого при работе прокси, то это именно HTTP прокси.
HTTPS proxy(SSL proxy) - то же самое, что HTTP прокси + поддерживают шифрование по протоколу SSL.
IRC proxy(bouncer, bnc) - используется для сокрытия реального IP в IRC сетях. Полезное свойство баунсеров - они позволяют оставаться на канале даже при выключении IRC клиента.
SOCKS proxy - могут работать с любыми протоколами(версия SOCKS4(a) - только TCP/IP, SOCKS5 - TCP/IP + UDP + авторизация + удаленный DNS-запрос). К числу недостатков SOCKS proxy можно отнести сложность их использования. Используя специальные программы можно соксифицировать практически любое приложение. Такие прокси анонимны по определению, т.к. не привязаны к протоколам высокого уровня и не модернизируют заголовки запросов.
CGI proxy (анонимайзеры) - с этим типом прокси возможно работать только через браузер, ибо в качестве прокси сервера в данном случае выступает не служба, забинденная на каком-либо порту, а скрипт на веб-сервере. Очень просты в использовании, но обладают существенно меньшими возможностями, чем все остальные виды прокси, не всегда корректно отображают страницы. Зато есть возможность запретить cookie и/или рекламу сразу в самом прокси сервере, не меняя настроек браузера. Подробнее об анонимайзерах.
FTP proxy - весьма узкоспециализированный тип proxy серверов и они могут работать только с FTP серверами. Используются в основном в корпоративных сетях. Как правило, функцию работы с FTP серверами также вставляют в HTTP прокси, поэтому данный вид прокси встречается все реже.
Gopher proxy - крайне нераспространенный тип прокси, работающий по протоколу Gopher - сетевому протоколу распределённого поиска и передачи документов(был широко распространен до изобретения WWW и впоследствии заменен им).
MySQL proxy - новый развивающийся вид прокси, его специализация ясна из названия - заточен на взаимодействие с сервером MySQL. Подробнее с возможностями можно ознакомиться на странице проекта (eng).

Q: Все ли прокси одинаково анонимны?
A: Нет, прокси делятся по уровням анонимности:
transparent - прозрачные прокси, они не скрывают ни IP клиента, ни своего собственного(HTTP(S), FTP, Gopher proxy).
anonymous - анонимные прокси, скрывают IP клиента, но не скрывают своего присутствия(HTTP(S), CGI proxy).
distorting - заменяют IP клиента, не скрывают своего присутствия(HTTP(S), CGI proxy).
high anonymous / elite - скрывают IP клиента, а также сам факт использования прокси(HTTP(S), CGI, SOCKS proxy).
Подробнее об уровнях анонимности и переменных окружения.

Q: Что такое цепочка проски?
A: Цепочка из прокси серверов позволяет при помощи специальных программ(SocksChain и подобных) использовать несколько разных прокси таким же образом, как будто это один прокси сервер. Применяется в основном для повышения анонимности, но может существенно замедлить работу в сети.

Q: По каким параметрам различаются прокси?
A: За основу возьму параметры(не все) из программы для анализа прокси Charon, аналогичные должны присутствовать во всех пристойных программах подобного рода.
1. IP - без комментариев.
2. Hostname - символьное имя сервера(если есть).
3. Port - порт, на котором висит прокси. Прошу заметить, на одном сервере могут быть несколько проксей на разных портах.
4. Anon - уровень, либо наличие/отсутствие анонимности.
5. Ping - время, затраченное на передачу пакета информации от клиента к прокси и обратно, измеряется в миллисекундах.
6. Gateway - перенапрявляет ли данный прокси запрос на другой прокси(шлюз). Картинкой это можно описать так:
12.34.56.43:80 \
12.34.56.76:80 > 12.34.56.55:80
12.34.56.91:80 /
7. Connect - поддерживает ли проски метод CONNECT. Подробнее о методе CONNECT.
8. Socks - является ли прокси SOSKS proxy.
9. Country - физическое положение прокси.
10. Date - дата последней проверки прокси(к самому прокси в принципе не имеет никакого отношения).

Q: Где взять списки прокси серверов?
A: Свежие списки можно всегда найти на нашем форуме (;
Тема 1: proxy / socks 4 / socks 5
Тема 2: PROXY для ICQ /флуд/спам

Q: Что такое личинг проксей?
A: Это автоматический сбор прокси на основе веб-страниц, содержащих списки прокси серверов. Имхо сейчас этот способ менее актуален, проще пробежаться по специализированным форумам, взять недавно прочеканные прокси и "освежить" получившийся список уже непосредственно.
Подробнее о личинге проксей с помощью ProxyGrab

Q: Почему прокси медленные/не работают?
A: Наверно, потому что эти прокси взяты с нашего форума (: Или с любых других форумов/сайтов. Все эти прокси автоматически попадают в разряд public. Такие прокси отличаются исключительной нестабильностью работы. Эта нестабильность в первую очередь достигается большим количеством одновременных запросов(слишком много людей скопипастили проски с форума и теперь пытаются воспользоваться ими), либо прокси вообще могут отключаться на некоторое время или на совсем. Получить доступ к прокси разряда private можно, заплатив за этот самый доступ. Таких сервисов предостаточно.

Q: Как проверить прокси на работоспособность?
A: При проверке прокси на работоспособность производится сканирование соответствующего порта на сервере. Существует множество программ для анализа и проверки прокси. Заслуживает внимания вышеупомянутая программа Charon.
Программы для сканирования диапазонов IP на предмет работающих прокси(proxy hunters) заслуживают отдельного упоминания - с помощью них можно найти "условно приватные" прокси. Диапазоны сканирования можно взять отсюда.
Подробнее почитать о других прокси чекерах/хантерах можно тут и тут.

Q: Как проверить прокси на анонимность?
A: Существуют так называемые proxy judges, которые представляют собой perl/php или другой cgi скрипт, который возвращает набор переменных окружения своего веб сервера, на основе них можно сделать вывод об уровне анонимности конкретного прокси сервера. Ссылки на proxy judges брать тут и тут.

Q: Как правильно сканировать прокси?
A: Смотря для чего они будут использоваться. В любом случае - чем меньше пинг, тем лучше. Количество потоков для сканирования выбирается экспериментальным путем под конкретное соединение.

не понял разницы в этих определениях...)суть-то одна) первые скрывают ип, заменяя их на ип, где установлен прокси-серв, вторые меняют ип на рандомный (исходя из определений на фрипрокси).
так что поправить нужно...

суть как раз в разнице переменной Http_x_forwarded_for, что в некоторых случаях достаточно важно. а так бы вообще конечно можно все три последних уровня анонимности в один свернуть.

Может поправить на что - нибудь вроди " Наверно, потому что эти прокси давно были выложены в паблик", а то создается впечатление, будто у нас только дохлые прокси выкладывают...

кстати, тут может быть и обратный момент. очень старые листы могут быть куда ценнее свежих, хоть там и будет очень мало живых прокси, но те, что будут - хоть как-то могут претендовать на стабильность.

а форум просто под руку попался, не стоит сразу так категорично (;

добавил ссылки на форумные темы.

Обновил FAQ, добавил два вида прокси: NAT proxy (совсем забыл про него вначале) и новый MySQL proxy.

Меня интересует такой вопрос, если я использую стандартный Http-прокси, как конечная такчка определяет, что я сижу через проксю и как это можно исправить?

Web-серверу передаются некие переменные, в частности HTTP_VIA и HTTP_X_FORWARDED_FOR, по которым он может определить используется прокси или нет. Исправляется использованием прокси серверов, не передающих эти переменные.

Тоже погуглил и вот самая лучшая ситуация, которую создают элитные прокси-серверы:
REMOTE_ADDR = IP прокси
HTTP_VIA = не определена
HTTP_X_FORWARDED_FOR = не определена.
Но кроме анализа переменных окружения нас могут с головой выдать cookie. Если до этого мы зашли на сайт без прокси, и сайт нам впарил печеньки с нашим же IP, а потом зашли через проксик и скрипт увидел несовподение нашего "реального" адреса с тем, который в куках, то может отправить нас в бан.

Второстепенных признаков, по которым можно с высокой вероятностью сказать, что клиент соединен через прокси на самом деле море. =)

Было бы неплохо если эти второстепенные признаки были описаны здесь..

А вообще соксы это отдельные типы проксей или же элитные прокси и соксы это одно и тоже??
По какому принципу работают соксы, чем они отличаются от элитных проксей??

Как время найду - постараюсь написать..
Под элитными прокси обычно понимают http прокси, которые не говорят серверу о том, что они прокси и не передают реальный ip адрес пользователя. Соксы же не передают его в силу своего устройства, кроме того, через них можно пускать трафик любого протокола высокого уровня, не только http.

С помощью Charon отфильтровал более 100 сокс проки, с небольшим пингом, рабочие по мнению программы. Многократная повторная проверка говорила что прокси рабочие, пинг стабильный. Однако на практике оказалось что фактически все прокси не работают.
Что делаю не так? Посоветуйте программу которая чекает прокси более качественно.

Подскажите какие порты ставить для скана проксей?
кроме стандартных: 80,8080,8000,8888,3124,3127,3128,

Существует очень много портов подумай саму можешь тыкнуть на шару!)
Вот к примеру от приватных проксиков порты:
**:5333
**:47579

Как можно отдичить трансперт прокси от от анонимных например?

В Forum Proxy Leecher есть чекер Bleach можешь через него прочекать!)

6588, 81, 8081, 1080 и куча еще всяких других! Главное чтобы скоростные были! Transparent хорошо идут! ;)

http 80,1033,2282,3127,3128,3382,4471,
5645,5718,6588,8000,8080,8888,11903,15621,
35631,41457,43341,44548,49871,63000,63809,65506

Http 3128,3382,6382,6588,7177,7212,7272,
7329,7379,7410,7709,7733,7961,8001,8080,8109,8155,
8182, 8353, 8379, 8477, 8513, 8611, 8683, 8821,
8984, 9088, 9337, 9567, 9669, 9870

Http 3128, 5022, 5093, 6588, 6748, 8080, 30258

Socks4:559, 1032, 1080, 1924, 1979, 2081, 2827, 4035,
4207, 4374, 4471, 4537, 4954, 5015, 5057, 5210, 5303,
5443, 5630, 5645, 5702, 5718, 5871, 6032, 6082, 6087,
6159, 6171, 6292, 6504, 6560, 6782, 6896, 6999, 7014,
7155, 7166, 7209, 7596, 7758, 7770, 7824, 7884, 8065,
8486, 8544, 8546, 8826, 8984, 9366, 9617, 10798, 10822,
11218, 11649, 11839, 11903, 12165, 12223, 12721, 12794,
12994, 13273, 14378, 15287, 15481, 15621, 15979, 16120,
16364, 16717, 17040, 17702, 17773, 18379, 18449, 18924,
19787, 20318, 20399, 20873, 21353, 21984, 22623, 23105,
23138, 23642, 23880, 25000, 25004, 25126, 25156, 25890,
26582, 26811, 27038, 27354, 28251, 28326, 28776, 28818,
28878, 29696, 30320, 30335, 31132, 31998, 33693, 34922,
35254, 35631, 36983, 37463, 37715, 38346, 41457, 43341,
43495, 43652, 44548, 47584, 48292, 49871, 54112, 55412

Socks5: 1032, 1080, 1924, 1978, 2081, 2827, 3491, 4160,
4207, 4374, 4471, 4537, 4954, 5015, 5057, 5337, 5443, 5498,
5630, 5679, 5718, 5871, 6032, 6087, 6159, 6171, 6292, 6560,
6896, 7014, 7155, 7166, 7209, 7596, 7758, 7770, 7824, 7884,
8065, 8486, 8544, 8546, 8984, 9366, 9560, 9617, 9726, 9998,
10798, 11218, 11480, 11839, 11903, 12165, 12429, 12721, 12794,
12994, 13273, 15481, 15621, 15979, 16120, 16717, 17040, 17702,
17773, 18449, 18924, 19787, 20318, 20399, 20582, 21514, 21679,
21705, 21984, 22346, 22623, 23105, 23138, 23232, 23642, 23880,
24083, 25000, 25004, 25126, 25156, 25509, 25890, 26582, 26811,
27038, 27354, 28251, 28326, 28776, 28878, 30320, 31132, 31793,
31998, 33693, 34922, 35254, 35631, 37463, 37715, 41457, 43341,
43652, 44548, 47584, 48292, 48789, 49871, 54112, 55412

Wingate: 5368, 5681, 6034, 6405, 6748, 7272, 7733, 7961, 8109,
8155, 8182, 9669, 9870
;)

спасибо за инфу, а то я незнал
гы

я когда задаю диапазоны и сканю через ипсканер оно находит прокси(наверно) потом когда загружаю логи в чарон и нажимаю филтер лист ... так после этого у меня уже ничего не остается. Сканю все порты которые предоставил Odisey. Помогите пожалуйста, что я не так делаю?

Через ипсканер у тебя находятся просто открытые порты, на этом порту необязательно висит прокси-сервер.

Проблемы с ProxyHunter
 

Стали сыпатся прокси все подряд, а гудов 0. Помогите, что можно сделать? На деде поменьше, но гуд опять же таки 0.
Вот скрины настроек:

http://i74.servimg.com/u/f74/12/44/55/09/610.gif

http://i74.servimg.com/u/f74/12/44/55/09/510.gif

http://i74.servimg.com/u/f74/12/44/55/09/110.gif

http://i74.servimg.com/u/f74/12/44/55/09/210.gif

http://i74.servimg.com/u/f74/12/44/55/09/310.gif

http://i74.servimg.com/u/f74/12/44/55/09/410.gif

Проблему решил, качнул другую версейку Хантера, сыпаться все подряд перестали...
Перебрал питидисятую часть бразильского диапазона, хантер нашел 3000 проксей, гудов - 0
Помогите разобраться, что нитак?

УРА! Посыпались гуды! Всем спасибо! :)

Кто знает, можно ли в Angry IP scan забить сразу несколько диапазонов ip?

Насколько я помню там можно через консоль запускать, следовательно, можно создать .bat файл, где запускать прогу с нужными диапазонами n-нное кол-во раз.

Подскажите, скорость проксей измеряется по пингу или скорости прокси сервера?

http://i74.servimg.com/u/f74/12/44/55/09/55555510.gif

:confused:

Если используешь прокси массово (например, для брута), то пинг важнее, если для серфинга - то скорость.

iv., спасибо!

Пару вопросов по Charon:
1) Почему при добавлении проксей в Charon уходит так много времени? Как этот процес можно ускорить? Вставляю ctrl+c
2) Сколько Judges использовать для чека и какой версии?

Хз, у меня всё достаточно быстро добавляется, поэксперементируй с настройками.
Особой разницы между ними никогда не замечал. Имеет смысл использовать несколько, на случай если какие-то из них не будут отвечать..

ПС: ты мне за каждый ответ плюсы ставить будешь? =)

Я так и думал, несколько Judges, штук 5-8 достаточно. Но вот с добавлением попа, кинул 20000 насканенных проксей, минут 20 только добавлялись они в Charon :confused:

P.S. Плюссы просто так не ставлю... ;)

Вопрос по Proxy Hunter:
С каким статусом не стоит чекать прокси: Need authentication, Protocol error, Undecidable, Not matching?

Где скачать Charon на русском? и чтобы работала

Ни с каким из вышеперечисленных по идее. =) Они все сигнализируют о той или иной ошибке.
Там нечего на русский переводить, и никому это не надо имхо.

mff выкладовал скрин проги и у нево она была на русском

http://rapidshare.com/files/169536814/Charon_rus.rar.html там и то и другое ;)
это точно было б что чекать :D
Need authentication Not matching,эти я чекаю последние обычно прокси