Ищу скрипты - спайдеры
 

Ищу скрипты для создания поисковой машины. Необходим спайдер для сканирования web-сайтов инета (НЕ одного сайта).
Язык - любой (в т.ч. Perl и C) - под юникс.
Если кто нить где-то встречал подобные (возможно и платные) скрипты - просьба отписать.

Может ковырнуть: http://company.yandex.ru/technology/products/yandex-server.xml

Нет, ковырять не нужно :)

Гляень MnoGoSearch отличная софтина, под никсы бесплатная. Сам на ней сижу.

Все удобно кладется в БД. Работает со всеми типами БД. можно организовать как поиск по сайту так и по сети.

Выводить можно из БД встроеными средствами своим скриптом либо использовать php api после установки модуля. Вообщем замечательная штука, особенно учитывая ее цену.

Система - http://www.mnogosearch.org/
Неплохой ман - http://linux.yaroslavl.ru/docs/conf/mnogosearch/index-ru.html

http://www.cs.ioc.ee/~ando/sphider/

А вообще тут много всего

http://www.hotscripts.com/PHP/Scripts_and_Programs/Search_Engines/index.html

Да, это я находил, смотрел описание. Но по-моему она ориентированна на индексирование одного сайта. Кроме того, серьезные инет-поисковики на БД не сидят, это крайне неэффективно.

>Да, это я находил, смотрел описание. Но по-моему она ориентированна на >индексирование одного сайта. Кроме того, серьезные инет-поисковики на БД не сидят, это крайне неэффективно.

Нет какразтаки она ориентировано на вариацию, тоесть ты можеш выбрать мультиДБ и работать со множеством сайтов, конечно до поисковика типа Гугла она не дотянет я не спорю.

По поводу БД трудно сказать, не нравится БД бери сурс и меняй на что хочеш!

[OFFTOP]
Algol, а как же иначе хранить данные по проиндексированным сайтам, как не в БД?
[/OFFTOP]

Впринципе сожно и на файлах...

Algol, напиши plz чем закончились твои поиски!