PDA

Просмотр полной версии : Продам php скрипт:индексация и полное выкачивание контента


о_О Тынц
26.08.2006, 15:16
Продам php-скрипт
Описание: Выкачивание всего контент-содержимого сайта с сохранением структуры папок. Контентом считаются image/*, video/*, audio/*, application/*

Подробнее: начиная с данной ссылки, ходит по всем найденным и скачивает файлы отмеченных типов на сервер, где запущен скрипт. Полная эмуляция обычного юзера.

Фичи:
- Находит все уникальные ссылки, редиректы, тэги ресурсов вроде img и embed
- HTTP Basic login
- FORM GET/POST login
- Возможность отбрасывания ссылок находящизся в доменном имени выше, ниже. Возможность отбрасывания ссылок являющихся папкой-родителем для данной изначально
- Сохранение сессии. При отмене сеанса скачивания, или отключении сервера - скрипт останавливается, до команды на продолжение
- Полная эмуляция пользовательской активности. Куки, редиректы, реферер
- Возможность ограничить снизу размер скачиваемых файлов
- Разрешение/запрет скачивания ресурсов с других серверов.
- Интеллектуальная система распознавания типа контента по трём факторам
- Автоматическая остановка скрипта в случае бана аккаунта на выкачиваемом сервере.
- Высокая скорость как скачивания, так и парсинга html. 30Kb HTML in 0.1s, максимально зафиксированная скорость скачивания 3Mb/s
- Отказоустойчивость

Отдельным скриптом вынесена панель мониторинга процесса: статистика скачанного, percent bar пройдено/осталось, список ссылок, консоль остановки скрипта, логи.

Цена - 100WMZ или эквивалент.
Контакты:
o_O_Tync [DoGGy] mail.ru
ICQ# 1227 700
http://hellknights.void.ru/

genom--
26.08.2006, 17:26
пипец убожество -- слей офлине браузер и выкачивай сайты какие нипопадя =)

о_О Тынц
26.08.2006, 17:49
Сайты выкачать не трабл. Задача - выкачать сайт мимо себя, на сервер. 25 гигов видео, 5гигов картинок к ним? не проблема.
А тот же teleport pro не умеет проходить авторизацию ;)

guest3297
26.08.2006, 18:27
А дедик тебе на что???

Sn@k3
26.08.2006, 18:33
БУгагага. есть софт такой под win, который делает тоже самое, если найду, то кину даже ссылку на него. проходи гаранта, а это у нас de1et, если хочешь я могу выступить за него.

о_О Тынц
26.08.2006, 18:47
[ Cash ], блин, лолы, это и есть для того чтобы прямо на дедике запускать и сливать контент =)
Успешно протестирован на пятёрке порносерверов, качает без багов и лагов =)
Окей Snake, замётано)

nerezus
26.08.2006, 19:13
Это софт для тех, кто не умеет читать ман по wget и httrack(вроде так называется)

о_О Тынц
26.08.2006, 19:20
Сеанс отмазок начинается, угу? :)
да, ман рулит. А как собираешься прости авторизацию? допустим, ага. А остановиться в тот момент когда сайт начинает отрыгивать форму логина например при превышении лимита скачивания в сутки? =)
несколько ньюансов - и вот уже любой софт который существует - оказывается бессилен...
в конце концов моё дело предложить, господа)