Плюс ещё всякие страницы с ошибками, мёртвые ссылки, которые были живы на момент индексации (в этой категории должно быть много страниц с бекдорами).

Действительно, Сеть большая. Но полезной информации в ней не так уж много.