| heretic1990 |
31.08.2008 19:24 |
у меня есть наподобие!
Система Proxy checker выполняет автоматический поиск и проверку прокси серверов, сохраняя адреса прокси в своей базе до тех пор, пока они остаются работоспособными. Комплекс устанавливается на внешнем сервере и работает постоянно, поэтому в базе всегда имеется достаточное количество рабочих прокси.
Для работы системы, необходимо только добавить адреса списков прокси в интернете — система будет автоматически собирать прокси сервера, сохранять их в своей базе данных и оперативно проверять, удаляя нерабочие. Высокая скорость проверки достигается благодаря многопоточности и мультизапросам.
Управление системой осуществляется через простой интуитивно понятный web-интерфейс. С помощью специального URL или механизма экспорта, ваши скрипты смогут получать список рабочих прокси серверов с заданными свойствами из базы системы. Поддерживается экспорт списка по расписанию.
Возможности системы Proxy checker: - Быстрая и простая установка, инсталлятор базы данных.
- Работа в несколько параллельных процессов, использование мультизапросов в каждом процессе, высокая скорость поиска и проверки (400-900 прокси в минуту, в зависимости от мощности сервера).
- Автоматический запуск процессов из Cron.
- Автоматическое пополнение базы прокси серверов из общедоступных списков в интернете.
- Проверка прокси серверов по нескольким параметрам: уровень анонимности (прозрачные, анонимные, элитные), поддержка POST запросов, передача заголовка Referer, поддержка Cookies, время соединения, время запроса, скорость передачи данных.
- Перепроверка рабочих прокси, для поддержания актуальности базы.
- Определение стран прокси серверов по автономной БД, основанной на двух общедоступных базах IP адресов GeoIP и IP-to-Country.
- Фильтр для выбора списка прокси серверов из нужных стран, с нужными параметрами, в выбранном формате.
- Настраиваемый экспорт списков прокси. Поддерживается сохранение в файлы, отправка на электронную почту и загрузка на FTP сервер. Экспорт нескольким получателям по расписанию.
- Удобная и простая панель управления.
- Раздельная гибкая настройка каждого модуля: возможность указать таймауты, количество процессов и объем мультизапросов.
- Качественный контроль за работающими процессами: отображается время запуска, время в работе и текущее действие. Можно посмотреть лог-файл каждого процесса и прервать процессы. Отображается прогресс граббера и чекера и средняя скорость проверки.
- Возможность наглядно протестировать работу чекера и граббера.
- Просмотр базы прокси серверов с сортировками по любым параметрам, возможность добавления прокси в базу.
- Просмотр источников прокси с сортировками по любым параметрам, добавление новых источников с возможностью парсинга Google.
- Контроль за обновлениями источников прокси. Возможность удалить редко обновляющиеся источники.
- Статистика базы данных. Статистика по странам.
- Утилита для граббинга прокси со страниц.
- Утилита для быстрой проверки списка прокси серверов.
- Утилита для определения стран по IP адресам.
- Парсер Google: выделяет при помощи мультизапроса сразу 1000 ссылок.
- Журнал работы скриптов с подсветкой сообщений.
- Модуль новостей с сообщениями об обновлениях.
Системные требования: - Сервер с UNIX-подобной ОС (Linux, FreeBSD и др.)
- PHP версии 5.x.
- MySQL 5 версии (рекомендуется), или версии 4.1 и выше.
- Библиотека cURL версии 7.16 или выше.
- Zend Optimizer версии 2.5.8 или выше.
- Возможность выполнить PHP команду exec() из скрипта.
- Модуль apache mod_rewrite.
Рекомендации:
Не рекомендуется устанавливать систему на бесплатных хостингах и хостингах начального уровня, т.к. они зачастую имеют много ограничений на скрипты, а постоянное обращение скрипта к разным IP (проверка прокси) может быть запрещено администрацией хостинга! Отлично подходящая платформа для
скрипта — выделенный сервер или VDS.
http://www.4script.info/engine/download.php?id=409
|