Собираем качественный прокси-лист |
24.03.2008, 18:35
|
|
Постоянный
Регистрация: 17.03.2007
Сообщений: 336
С нами:
10080326
Репутация:
576
|
|
Собираем качественный прокси-лист
Очень часто я возмущаюсь при виде прокси-листов,которые выкладывают юзвери,особенно которые постят очередной говнолист,ради + в репу,но думаю есть люди,которые действительно хотят помочь,но не знают как,и их прокси лист называется "говно".В этой мини статье пойдет речь о том,как собрать качественный прокси лист ибо Quality better than quantity
Итак,поехали
1.Сбор прокси.(Leeching,Grabbing)
Тут всё элементарно,как обычно собираем прокси с форумов,сайтов,сканим и приводим их к виду 127.0.0.1:777(ип:порт)
(В этом вам может помочь мой парсер )
2.Чистка списка(Filtering).
Очень большая проблема для юзеров прокси-"грязный" лист(коими являются 80% выкладываемых выше),поэтому делаем следующее
а)Очистка дубликатов
Удаляем дубликаты,почти любой инструмент для работы с прокси это имеет
б)Фильтрация
Фильтруем прокси лист от
1)Planetlab(CoDeeN) прокси.Говорить нечего-мусор,котрый есть в каждом прокси листе.Прокси являются полу-бесплатными,постоянно вылезает "You are trying to use a node of the CoDeeN CDN Network. Your IP address is not recognized as a valid PlanetLab address,
so your access to CoDeeN does not include all HTTP types...".Также эти прокси не пропускают POST запросы,Connect на них тоже не работает
2)Government,Military,FBI прокси.Ну тут ноу комментс,таких прелестей не надо
Вопрос-а чем фильтровать-то? Это умеет Charon,но если вы его не юзаете,то очень советую скрипт http://ipmaster.org/ip2cc.html (форма неправильно работает в Opera).Пихаем в форму прокси,отмечаем "Filter CoDeeN (Planetlab) IPs" и "Filter U.S. Government/Military IPs".На выходе получаем два списка-то что отфильтровали,и то что осталось,нас конечно интересует второй,далее работа с этим списком
3.Проверка(Checking).
Просто проверяете прокси вашим любимым чекером,единственное что порекомендую-ставьте таймаут 5-10 секунд(а можно и 2-3),и проверять быстрее и не ждать по пол минуты при сёрфинге.
Также на этом этапе отбрасываются нерабочие прокси,можно выбросить не анонимные,на ваше усмотрение.
4.Верификация(Verify).
Для особо продвинутых известно-прокси мало только прочекать,их нужно верифицировать.
Верификация-отправка запроса через прокси на сервер,получение ответа(заголовок и/или код страницы) и поиск в ответе ключевого слова(keyword).Если находим -прокси нормальный,если нет-выкидываем.
Для этих целей я использую ProxyHunter,очень удобно,особенно после скана
Но верефикация тоже не панацея-на некоторых прокси может быть,например,доступ только к гугл.ком,а к другим сайтам запрещен
И ещё-можно пропустить проверку прокси,сразу верефикация(но прокси хантер анонимность не определит  )
Собственно вот и всё,у вас на руках хороший список прокси,95% прокси в нём работают
©v1ru$,www.proxy-socks.info
Последний раз редактировалось v1ru$; 24.03.2008 в 19:19..
|
|
|
31.03.2008, 15:32
|
|
Новичок
Регистрация: 05.07.2007
Сообщений: 19
С нами:
9921473
Репутация:
2
|
|
можеш описать процес скана прокси? Пожалуйста
|
|
|
|
31.03.2008, 15:42
|
|
Познающий
Регистрация: 12.02.2006
Сообщений: 47
С нами:
10653446
Репутация:
3
|
|
Очень полезная мини статейка только вот ссылка на твой парсер битая пери залей
P.s. +
|
|
|
|
31.03.2008, 21:21
|
|
Постоянный
Регистрация: 17.03.2007
Сообщений: 336
С нами:
10080326
Репутация:
576
|
|
Сообщение от Le!b
можеш описать процес скана прокси? Пожалуйста
Скачал сканер,вбил диапазон ип и порт,нажал кнопку
Сообщение от zeon
Очень полезная мини статейка только вот ссылка на твой парсер битая пери залей
P.s. +
Парсер не прога-а скрипт,всё работает
|
|
|
|
01.04.2008, 11:50
|
|
Новичок
Регистрация: 05.07.2007
Сообщений: 19
С нами:
9921473
Репутация:
2
|
|
я так и делаю, но когда оно сканит диапазон пол дня и находит десяток то потом они уже не пашут. А какие порты нужно искать, я ищу только 8080 и 3128
|
|
|
|
03.04.2008, 23:06
|
|
Познающий
Регистрация: 15.01.2008
Сообщений: 42
С нами:
9643028
Репутация:
17
|
|
Подскажите, а как вручную отсеивать Милитари, ФБР, правительственные прокси??
Какие отличия у них?
|
|
|
|
05.04.2008, 22:41
|
|
Постоянный
Регистрация: 17.03.2007
Сообщений: 336
С нами:
10080326
Репутация:
576
|
|
Сообщение от unixfan
Подскажите, а как вручную отсеивать Милитари, ФБР, правительственные прокси??
Какие отличия у них?
зачем вручную когда можно автоматом.
Хотя оможно отрезолвить ип в имена хостов и фильтровать по зоне домена(но всеравно не всегда прокатит)
|
|
|
|
02.01.2009, 00:44
|
|
Участник форума
Регистрация: 13.11.2008
Сообщений: 131
С нами:
9205656
Репутация:
52
|
|
а есть какой-либо аналог http://ipmaster.org/ip2cc.html ? Этот сервис уже с недельку как сдох  |
|
|
|
02.01.2009, 15:02
|
|
Познающий
Регистрация: 19.12.2008
Сообщений: 93
С нами:
9154092
Репутация:
575
|
|
Чем ещё можно проверять
http://ipmaster.org/ip2cc.html - не рабочая
|
|
|
|
02.01.2009, 15:25
|
|
Познавший АНТИЧАТ
Регистрация: 22.11.2007
Сообщений: 1,822
С нами:
9720289
Репутация:
1549
|
|
Хреновая статья. Уже давно на ачате есть более полные статьи.
По делу: Опасайтесь софта для работы с проксями, дважды опасайтесь веб форм для работы с проксями. И там и там вас могут развести на прокси.
Те, у кого процесс поиски идет медленно - ставте патч на свою ось, открывающий каналы или открывайте их руками, берите канал по шире, юзайте дедики, сканьте прокси на не стандартные порты, не забывайте, что прокси бывают разными.
ЗЫ
еще раз, статья сакс! Писалась 5 минут, не статья, а кусок информации.
|
|
|
|
|
 |
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
Похожие темы
Комбинированный вид
