вопрос по файлу robots.txt

вопрос по файлу robots.txt

30.03.2008, 19:34

ArdeOS

Участник форума

Регистрация: 16.07.2004

Сообщений: 196

С нами: 11482946

Репутация: 211

вопрос по файлу robots.txt

Привет сеошники, интересует такой вопрос -

Есть некоторые интересные директивы, которые применяются в файле robots.txt, директива INDEX говорит роботу, что данную страницу можно индексировать, а директива FOLLOW сообщает роботу, что ему разрешается пройтись по ссылкам, присутствующим на данной странице. Вопрос.

Можно ли сделать так, чтобы робот индексировал саму страницу и текст с ключевыми словами на ней, но НЕ трогал и не смотрел вообще на туеву хучу временных ссылок на каталоги, которые требуют разместить чтобы объявление о сайте приняли в базу.

Вот такой например конструкцией -

User-agent: *
Disallow:
<META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW">

Корректно ли составлен файл?? Не будет граблей для поисковиков??

𝕏 Twitter Reddit Telegram Копировать ссылку

30.03.2008, 20:51

Nocturnal

Новичок

Регистрация: 29.02.2008

Сообщений: 19

С нами: 9577504

Репутация: 1

Цитата:

Сообщение от ArdeOS

Вот такой например конструкцией -

User-agent: *
Disallow:
<META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW">

Корректно ли составлен файл?? Не будет граблей для поисковиков??

Нет, не правильно. Кури http://robotstxt.org.ru/ ; http://www.robotstxt.org/
А какая вообще ПС?
Если гугль, то он пройдёт по всем ссылкам, а тебя даже не спросит.
Если яндекс, то просто помести все ссылки в <noindex></noindex>