Antichat снова доступен.
Форум Antichat (Античат) возвращается и снова открыт для пользователей.
Здесь обсуждаются безопасность, программирование, технологии и многое другое.
Сообщество снова собирается вместе.
Новый адрес: forum.antichat.xyz
 |
|
парсер проксей GooglePPbP |
02.11.2009, 00:57
|
|
Постоянный
Регистрация: 26.07.2009
Сообщений: 321
Провел на форуме:
444589
Репутация:
123
|
|
парсер проксей GooglePPbP
Написал скрипт, который парсит прокси из инета.
вариант1
даем ему файл со списком сайтов, где выкладывают прокси, срипт лазит по ним (с глубиной 1 ссылка) и собирает все прокси.
Так можно базу сайта в 3000 проксей стянуть за секунды, а не копипастить и удалять лишнюю инфу для каждого айпишника...
вариант2
у нас нету никакого списка с сайтами и нам лень их искать в гугле.
Тогда скрипт это делает за нас. Пробивает в гугле запрос ака proxy и берет первые 20000 страниц. Потом ходит по ним и собирает прокси как это описано в первом случае.
Последний тест скрипта этим методом длился больше 2 часов и принес список в 22 993 не завершив свою работу до конца (я прервал чтоб не ждать дальше, так как больше проксей просто теоритически не может быть нужно - их же прочекать еще надо)
Все настройки легко меняются в первых строках кода.
Код хорошо прокомментирован.
В архиве есть FAQ и схема работы, а также чекер проксей на PHP.
вот скрин:
настройки, как видно по скрину, выводятся в админку.
ошибки обрабатываются, после завершения работы скрипта видим ссылку на файл с проксями.
проверка повторов отсутствует
так как большинство чекеров уберают повторы сами.
Скачать версию 1.0
http://d.lsass.us/4280 |
|
|
02.11.2009, 01:00
|
|
Постоянный
Регистрация: 04.07.2007
Сообщений: 827
Провел на форуме:
2504528
Репутация:
882
|
|
делай фри приват сервис для античата  |
|
|
|
02.11.2009, 11:19
|
|
Постоянный
Регистрация: 26.07.2009
Сообщений: 321
Провел на форуме:
444589
Репутация:
123
|
|
ну разве что на вашем серваке xDD
|
|
|
|
02.11.2009, 11:35
|
|
Познавший АНТИЧАТ
Регистрация: 22.11.2007
Сообщений: 1,822
Провел на форуме:
4468361
Репутация:
1549
|
|
проверку от повторов обязательно нужно реализовать, ибо.
на счет глубины поиска - не верю, что 2000 - реально ибо слишком огромные нагрузки, скорее уж 5, если действительно реализовано.
Естественно, неплохо туда же вмонтировать чекер проксей со всеми подробностями и парсерок, способный универсально их обрабатывать...
Правда, такую штуку уже можно будет продавать за бабло и ставить на ней привязочку.
|
|
|
|
02.11.2009, 14:58
|
|
Постоянный
Регистрация: 26.07.2009
Сообщений: 321
Провел на форуме:
444589
Репутация:
123
|
|
набросал на ходу...
Если добавит в код строку
PHP код:
foreach(array_unique(file($file_proxy)) as $numb=>$valuee)echo $valuee . "<br>";
после
fclose($log);
и после
fclose($save);
то после завершения работы скрипта уникальные прокси выведутся в браузер.
на счет глубины поиска, какую хотите, такую и ставьте в настройках. глубина 5 - это минуты на две работы. Эта настойка означает не хождение по подкаталогам и ссылкам, а колличество обрабатываемых страниц из тех, которые найдет гугл. А по тем страницам углубляемся в подкаталоги только один раз. Этого достаточно с головой.
чекер проксей от енота в архиве. Одновременно чекать и парсить сервак не выдержит ) так что потратьте часик на парсинг и потом хоть 2 суток чекайте.
Я видел что продают, а я даю на халяву. |
|
|
|
02.11.2009, 16:20
|
|
Участник форума
Регистрация: 18.01.2008
Сообщений: 158
Провел на форуме:
2441184
Репутация:
106
|
|
не работает ((
|
|
|
|
02.11.2009, 16:42
|
|
Постоянный
Регистрация: 26.07.2009
Сообщений: 321
Провел на форуме:
444589
Репутация:
123
|
|
все работает
для работы нужен пхп5 и включеная ф-я curl
скопипасти ошибку которую возвращает сервер
|
|
|
|
02.11.2009, 16:43
|
|
Участник форума
Регистрация: 18.01.2008
Сообщений: 158
Провел на форуме:
2441184
Репутация:
106
|
|
для работы нужен пхп5 и включеная ф-я curl
скопипасти ошибку которую возвращает сервер
вообщем все как бы работает, жму допустим ок (тот который напротив собрать из google) и у меня через 5 сек пишет done, файл прокси1 пустой
|
|
|
|
02.11.2009, 16:45
|
|
Познавший АНТИЧАТ
Регистрация: 24.06.2008
Сообщений: 1,996
Провел на форуме:
6075534
Репутация:
2731
|
|
chmod
|
|
|
|
02.11.2009, 21:47
|
|
Reservists Of Antichat - Level 6
Регистрация: 07.07.2009
Сообщений: 324
Провел на форуме:
1585404
Репутация:
564
|
|
Хорошая решение нудной работы [лови +]
P.S реально добавь чекер проксей, но после парсинга листа а не одновременно.
Работает идеально но дупликаты давольно много, + еще добавь сортировка по GeoIP)
|
|
|
|
|
|
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
Похожие темы
Линейный вид
