если создать файл robots.txt в корневом каталоге веб-сервера с определенными записями, то поисковые роботы не будут индексировать его.
подробнее тут http://www.webmascon.com/topics/adv/8a.asp