Любая папка, доступная из веба - доступна и гуглу. А роботсы.тхт - это ты правильно подметил, гы