Форум АНТИЧАТ - Собираем качественный прокси-лист

Собираем качественный прокси-лист

24.03.2008, 18:35

v1ru$

Постоянный

Регистрация: 17.03.2007

Сообщений: 336

Провел на форуме:
3766085

Репутация: 576

Отправить сообщение для v1ru$ с помощью ICQ

Собираем качественный прокси-лист

Очень часто я возмущаюсь при виде прокси-листов,которые выкладывают юзвери,особенно которые постят очередной говнолист,ради + в репу,но думаю есть люди,которые действительно хотят помочь,но не знают как,и их прокси лист называется "говно".В этой мини статье пойдет речь о том,как собрать качественный прокси лист ибо Quality better than quantity
Итак,поехали

1.Сбор прокси.(Leeching,Grabbing)

Тут всё элементарно,как обычно собираем прокси с форумов,сайтов,сканим и приводим их к виду 127.0.0.1:777(ип:порт)
(В этом вам может помочь мой парсер )

2.Чистка списка(Filtering).

Очень большая проблема для юзеров прокси-"грязный" лист(коими являются 80% выкладываемых выше),поэтому делаем следующее

а)Очистка дубликатов
Удаляем дубликаты,почти любой инструмент для работы с прокси это имеет
б)Фильтрация
Фильтруем прокси лист от
1)Planetlab(CoDeeN) прокси.Говорить нечего-мусор,котрый есть в каждом прокси листе.Прокси являются полу-бесплатными,постоянно вылезает "You are trying to use a node of the CoDeeN CDN Network. Your IP address is not recognized as a valid PlanetLab address,
so your access to CoDeeN does not include all HTTP types...".Также эти прокси не пропускают POST запросы,Connect на них тоже не работает
2)Government,Military,FBI прокси.Ну тут ноу комментс,таких прелестей не надо

Вопрос-а чем фильтровать-то?

Это умеет Charon,но если вы его не юзаете,то очень советую скрипт http://ipmaster.org/ip2cc.html (форма неправильно работает в Opera).Пихаем в форму прокси,отмечаем "Filter CoDeeN (Planetlab) IPs" и "Filter U.S. Government/Military IPs".На выходе получаем два списка-то что отфильтровали,и то что осталось,нас конечно интересует второй,далее работа с этим списком

3.Проверка(Checking).

Просто проверяете прокси вашим любимым чекером,единственное что порекомендую-ставьте таймаут 5-10 секунд(а можно и 2-3),и проверять быстрее и не ждать по пол минуты при сёрфинге.
Также на этом этапе отбрасываются нерабочие прокси,можно выбросить не анонимные,на ваше усмотрение.

4.Верификация(Verify).

Для особо продвинутых известно-прокси мало только прочекать,их нужно верифицировать.
Верификация-отправка запроса через прокси на сервер,получение ответа(заголовок и/или код страницы) и поиск в ответе ключевого слова(keyword).Если находим -прокси нормальный,если нет-выкидываем.
Для этих целей я использую ProxyHunter,очень удобно,особенно после скана
Но верефикация тоже не панацея-на некоторых прокси может быть,например,доступ только к гугл.ком,а к другим сайтам запрещен
И ещё-можно пропустить проверку прокси,сразу верефикация(но прокси хантер анонимность не определит

Последний раз редактировалось v1ru$; 24.03.2008 в 19:19..