проверку от повторов обязательно нужно реализовать, ибо.
на счет глубины поиска - не верю, что 2000 - реально ибо слишком огромные нагрузки, скорее уж 5, если действительно реализовано.
Естественно, неплохо туда же вмонтировать чекер проксей со всеми подробностями и парсерок, способный универсально их обрабатывать...
Правда, такую штуку уже можно будет продавать за бабло и ставить на ней привязочку.