В двух словах можно описать так. Берешь парсер поисковика (здесь на форуме я выкладывал для гугла на пхп или серверный Aura)

Делаешь запросы. Пример: "каталог сайтов". Пишешь в файл урлы вот тебе и база.