PDA

Просмотр полной версии : Сбор имён сайтов для Reverse-IP


aquam
25.03.2009, 21:52
Вопрос:
Как можно за достаточно короткое время собрать базу данных имён сайтов?

Мне видится несколько вариантов:
1. Тупой перебор и парсинг msn.com c параметром ip:.
2. Более интеллектуальный поиск сайтов через google с разными запросами. Сложность в том, что google возвращает только 1000 результатов.
3. Сбор имён сайтов с регистраторов.


У кого-нибудь есть наработки по этой теме?
Всего хотелось бы иметь около 20М имён.
Я думаю, это вполне реально.

Все имена сайтов в российском сегменте есть в свободном доступе.
Как с остальными?

Vid0k
25.03.2009, 21:54
тебе войсы сайтов нужны?

aquam
26.05.2009, 01:00
Я знаю что существует domaindb (сейчас не работает), msn.com c возможностью поиска по тэгу ip: и некоторые другие сервисы.
У них есть несколько недостатков, главный из которых: необходимость отправлять большое количество запросов и в результате с низкой скорость получать ответы.

Поэтому интересуюсь, нет ли у кого весьма внушительного (хотя бы на несколько миллионов) списка доменных имён.