ArdeOS
30.03.2008, 19:34
Привет сеошники, интересует такой вопрос -
Есть некоторые интересные директивы, которые применяются в файле robots.txt, директива INDEX говорит роботу, что данную страницу можно индексировать, а директива FOLLOW сообщает роботу, что ему разрешается пройтись по ссылкам, присутствующим на данной странице. Вопрос.
Можно ли сделать так, чтобы робот индексировал саму страницу и текст с ключевыми словами на ней, но НЕ трогал и не смотрел вообще на туеву хучу временных ссылок на каталоги, которые требуют разместить чтобы объявление о сайте приняли в базу.
Вот такой например конструкцией -
User-agent: *
Disallow:
<META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW">
Корректно ли составлен файл?? Не будет граблей для поисковиков??
Есть некоторые интересные директивы, которые применяются в файле robots.txt, директива INDEX говорит роботу, что данную страницу можно индексировать, а директива FOLLOW сообщает роботу, что ему разрешается пройтись по ссылкам, присутствующим на данной странице. Вопрос.
Можно ли сделать так, чтобы робот индексировал саму страницу и текст с ключевыми словами на ней, но НЕ трогал и не смотрел вообще на туеву хучу временных ссылок на каталоги, которые требуют разместить чтобы объявление о сайте приняли в базу.
Вот такой например конструкцией -
User-agent: *
Disallow:
<META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW">
Корректно ли составлен файл?? Не будет граблей для поисковиков??