aquam
25.03.2009, 21:52
Вопрос:
Как можно за достаточно короткое время собрать базу данных имён сайтов?
Мне видится несколько вариантов:
1. Тупой перебор и парсинг msn.com c параметром ip:.
2. Более интеллектуальный поиск сайтов через google с разными запросами. Сложность в том, что google возвращает только 1000 результатов.
3. Сбор имён сайтов с регистраторов.
У кого-нибудь есть наработки по этой теме?
Всего хотелось бы иметь около 20М имён.
Я думаю, это вполне реально.
Все имена сайтов в российском сегменте есть в свободном доступе.
Как с остальными?
Как можно за достаточно короткое время собрать базу данных имён сайтов?
Мне видится несколько вариантов:
1. Тупой перебор и парсинг msn.com c параметром ip:.
2. Более интеллектуальный поиск сайтов через google с разными запросами. Сложность в том, что google возвращает только 1000 результатов.
3. Сбор имён сайтов с регистраторов.
У кого-нибудь есть наработки по этой теме?
Всего хотелось бы иметь около 20М имён.
Я думаю, это вполне реально.
Все имена сайтов в российском сегменте есть в свободном доступе.
Как с остальными?