![]() |
Aura SE Parser / Лучший парсер поисковиков
Для тех кто не в курсе что это:
- парсинг результатов выдачи Google, Yahoo, Live, возможность установки глубины просматриваемых страниц. количество результатов на странице для всех поисковых систем - 100. - многопоточность - произвольное число потоков на SE, отдельные списки запросов для каждой SE, параллельный парсинг нескольких SE, возможность установки таймаута потока - прокси - HTTP, установка таймаута соединения, возможность парсинга без прокси - вращение выдачи - буквы, цифры, дополнительные запросы, ALD (Any Level Domain, подстановка конструкции site:домен_любого_уровня в запросы Google) - принудительная задержка потоков (для парсинга без прокси) - postmortem-механизм - продолжение парсинга после ребута/выключения сервера - развернутая статистика - процент выполнения потоков, парсинга в целом, время парсинга - скачивание выдачи поисковых систем в gzip - макроподстановки в запросах - очистка мусора из выдачи - фильтрация результатов Требования к хосту: - UNIX-подобная операционная система - Perl 5.8.6 и выше, есть в поставке подавляющего большинства UNIX-подобных систем - Perl-модули: Byteloader, Compress::Zlib, Uncompress::Gunzip, CGI, CGI::Carp, POSIX, Fcntl, LWP::UserAgent (как вы видите, бесплатные - отпадают) Архив содержит отличный мануал, по установке и настройке. не вижу смысла его здесь копипастить. Скачать пароль antichat + Пак апдейтов + Мод для Yahoo Конкретный скрипт я заводил. Большинство возможных проблем, из-за отсутствия модулей перла |
хост должен быть dedicated?
|
ДА нет, почему, и Vps и даже хостинг пойдет, тут по мощности смотри сам, главное конфигурация
|
Это какая версия?
|
Цитата:
P.S. Спам зло. |
а на win xp можноже апаче натсроить и под win32 запускать не обязательно из unix?
Мод для Yahoo - можно перезалить ? |
Ты читать умеешь?
Unix нужен! |
| Время: 20:53 |