Еще в /robots.txt можно смотреть Для меня было открытием в свое время.