так же можно закрыть страницы в шаблоне в тег noindex. если страницы уже в индексе можно отправить заявку на исключения сраниц из индекса

так ж есть способ запрета роботам посещать сайт через трек юзер агента на на самом серваке.. но подробней сказать не могу не использовал ...