Вы все правильно поняли.
Я вам в пример дал сайт. В роботс ничего такого там нет. Как и на страницах.
Соответсвенно вопрос остается - как это сделано? Почему такая картина в индексе?