Форум АНТИЧАТ - вопрос по файлу robots.txt

вопрос по файлу robots.txt

30.03.2008, 19:34

ArdeOS

Участник форума

Регистрация: 16.07.2004

Сообщений: 196

Провел на форуме:
2509801

Репутация: 211

вопрос по файлу robots.txt

Привет сеошники, интересует такой вопрос -

Есть некоторые интересные директивы, которые применяются в файле robots.txt, директива INDEX говорит роботу, что данную страницу можно индексировать, а директива FOLLOW сообщает роботу, что ему разрешается пройтись по ссылкам, присутствующим на данной странице. Вопрос.

Можно ли сделать так, чтобы робот индексировал саму страницу и текст с ключевыми словами на ней, но НЕ трогал и не смотрел вообще на туеву хучу временных ссылок на каталоги, которые требуют разместить чтобы объявление о сайте приняли в базу.

Вот такой например конструкцией -

User-agent: *
Disallow:
<META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW">

Корректно ли составлен файл?? Не будет граблей для поисковиков??