Парсить беки, например собрать базу каталогов "живых" или еще что) Хотя в олсабе это все есть, но как фри софт пойдет.

ТС, добавь RU и EN Google, +Yahoo+ список юзерагентов в базу, руками их проставлять гемор)