Кто-нибудь может подсказать, как получить количество страниц в индексе Yandex и Google?
Вроде в Yandex можно использовать XML-лимиты, но не всегда они есть в наличии. Есть какой-нибудь способ спарсить в лоб точное значение количества страниц в индексе?
У Google есть некий публичный json-овский API (под рукой ща ссылки на него нет), но там данные совсем не совпадают с теми, которые показывает Google на странице с результатами поиска.
Кк по мне лучше всего парсить эти данные из разных источников ротируя их. Из одного парсить не вариант ибо рано или поздно тебя забанят а если парсить будешь и десятка таких сервисов сможешь дольше жить.
Повторюсь, создаешь пользовательский поиск гугл, вбиваешь туда нужный сайт, можно несколько, и юзаешь его, выдача будет только для выбранных сайтов ну и плюс там JSON имеется, таким образом можно дорки по конкретным сайтам искать))