Далеко не все поисковики обращают внимание на robots.txt.
Более подробно можно посмотреть (правда на чистом английском) тута - http://www.robotstxt.org/