У меня на одном сайте (без пхп) менюшка (с ссылками) генерируется на каждой странице через JS - бот индексирует только главную страницу (остальные не видит), файл robots отсутствует...

Если всеже crawler`ы юзают JS - еще один вопрос: можно ли на JS определить - кто грузит страницу юзер или бот??