небольшое дополнение:
забыл про гугл)
оч редко админы заморачиваются с роботс.тхт