Как самому собирать базы каталогов.
 

Вопрос наверное глупый, но ответа не нашел.
Какой прогой можно собрать собственную базу каталогов/гостевух. Искал в поиски нашел только сборщик баз мыл. И людей которые продают базы каталогов, а вот через чего можно собрать самому так и не нашел.

хххх, мне бы тоже хотелось узнать :)

самыйй простой способ юзаешь поисковик ключевые слова каталоги потом добавляеешь эти ссылки в базу Allsubmitter потом когда насобирал экспортируешь базу и вылаживаешь тут
самый просто способ, но долгий

В allsubmitter есть функция добавить с SE. Там вводишь запросы типа inurl:addsite.php
inurl:submit.php ну и т.д. жмешь старт и она автоматом собирает базу.

Спасибо большое, сейчас сижу разбираюсь. Пока что не понял как в аллсубмитере сделать так что бы он больше 1000 ссылок мог собрать, и как задать глубину поиска. Но в целом все понятно.

Больше 1000 ты не соберешь, это ограничение поисковиков.

А что после 1000 происходит? бан по ip?
если да то на какое время =)

Ограничение в 1000 результатов поиска. Тоесть больше 1000 линков за проход по всей выдаче получить нельзя.

Бан можно получить за слишком частые запросы (т.е. за парсинг)

Наверное глупый вопрос, а вот если я по одному и тому же запросу
Пройду пару раз т.е с одними и теме же запросами, у меня будут только первые 1000 ссылок или каждый раз будут разные ссылки собираться. Я что то вот этого не понимаю.

еще добавляй -intitle:error

На один запрос гугль выдает только 1000 ссылок.
Если запрос поменять то и результаты естественно изменяться.
Т.е. с каждым новым запросом новая 1000 ссылок.

Но гугль не только тысячей ограничивается. При запросах содержащих inurl: вместе с guestbook и подобные им гугль не пустит дальше 300 ссылок. Он выведет предупреждение типа - "Извините в данный момент нас сканирует вирусное ПО" ну и т.д.

Ещё от частоты зависит, если часто посылать запросы на протяжении некоторого времени гугль просит ввести капчу. Вообщем парсилка обламывается и не находит линков.

Вообщем парсинг дело тонкое.

при inurl: - сейчас всегда 200 max + капча довольно часто вылетает

Вообще сабмитер уже не актуален.
тиц +10-20 макс

ИМХО при раскрутке тИЦ и Pr не самые главные показатели. А актуальность сабмиттера определяется положительным результатом. И пока он (результат) есть.

Собираю хрефером базу сайтов "похожих на каталоги", потом добавляю в аллсабмиттер, и проганяю инстрементом "найти формы для добавления", на выходее чищу руками.
Эфективность 40к хрефер, 8К после аллсаба, 2-3К после ручной чистки. Прирост от каталогов после такого парсинга вполне адекватный, некоторые сайты получали 3пр морды + 3пр внутряки, хотя повсякому бывает... Обменяю базу 1600 (возможно больше, дочищается сейчас) англ. каталогов на нормальную русскую базу,писать в ПМ. Сигнатуры для парснга хрефером собрирал вручную, где взять крякнутый хрефер не знаю!!!