ANTICHAT.XYZ    VIDEO.ANTICHAT.XYZ    НОВЫЕ СООБЩЕНИЯ    ФОРУМ  
Баннер 1   Баннер 2
Antichat снова доступен.
Форум Antichat (Античат) возвращается и снова открыт для пользователей. Здесь обсуждаются безопасность, программирование, технологии и многое другое. Сообщество снова собирается вместе.
Новый адрес: forum.antichat.xyz
Вернуться   Форум АНТИЧАТ > Безопасность и Уязвимости > Безопасность > Анонимность
   
 
 
Опции темы Поиск в этой теме Опции просмотра

парсер проксей GooglePPbP
  #1  
Старый 02.11.2009, 00:57
Аватар для phpdreamer
phpdreamer
Постоянный
Регистрация: 26.07.2009
Сообщений: 321
Провел на форуме:
444589

Репутация: 123
Отправить сообщение для phpdreamer с помощью ICQ
По умолчанию парсер проксей GooglePPbP

Написал скрипт, который парсит прокси из инета.

вариант1
даем ему файл со списком сайтов, где выкладывают прокси, срипт лазит по ним (с глубиной 1 ссылка) и собирает все прокси.
Так можно базу сайта в 3000 проксей стянуть за секунды, а не копипастить и удалять лишнюю инфу для каждого айпишника...

вариант2
у нас нету никакого списка с сайтами и нам лень их искать в гугле.
Тогда скрипт это делает за нас. Пробивает в гугле запрос ака proxy и берет первые 20000 страниц. Потом ходит по ним и собирает прокси как это описано в первом случае.
Последний тест скрипта этим методом длился больше 2 часов и принес список в 22 993 не завершив свою работу до конца (я прервал чтоб не ждать дальше, так как больше проксей просто теоритически не может быть нужно - их же прочекать еще надо)

Все настройки легко меняются в первых строках кода.
Код хорошо прокомментирован.
В архиве есть FAQ и схема работы, а также чекер проксей на PHP.

вот скрин:


настройки, как видно по скрину, выводятся в админку.
ошибки обрабатываются, после завершения работы скрипта видим ссылку на файл с проксями.

проверка повторов отсутствует
так как большинство чекеров уберают повторы сами.

Скачать версию 1.0
http://d.lsass.us/4280
 
Ответить с цитированием
 



Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
парсер дампов БД v.o2 eLWAux С/С++, C#, Delphi, .NET, Asm 15 07.09.2009 18:56
Парсер контента dough Разное - Покупка, продажа, обмен 0 20.08.2009 12:35
нужен парсер nmap last_root Разное - Покупка, продажа, обмен 1 22.07.2009 17:23
Небольшую тонкость сканировании проксей mandalina Анонимность 3 03.06.2009 12:30
Выбор прокси чекера + база открытых проксей gogison Анонимность 0 03.02.2007 02:57



Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 


Быстрый переход




ANTICHAT.XYZ