слышал, что существуют подобные методы для тИЦ, с использованием роботс.тхт
не знаешь?