ANTICHAT — форум по информационной безопасности, OSINT и технологиям
ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию.
Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club,
и теперь снова доступен на новом адресе —
forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.
 |
вопрос по файлу robots.txt |
30.03.2008, 19:34
|
|
Участник форума
Регистрация: 16.07.2004
Сообщений: 196
Провел на форуме:
2509801
Репутация:
211
|
|
вопрос по файлу robots.txt
Привет сеошники, интересует такой вопрос -
Есть некоторые интересные директивы, которые применяются в файле robots.txt, директива INDEX говорит роботу, что данную страницу можно индексировать, а директива FOLLOW сообщает роботу, что ему разрешается пройтись по ссылкам, присутствующим на данной странице. Вопрос.
Можно ли сделать так, чтобы робот индексировал саму страницу и текст с ключевыми словами на ней, но НЕ трогал и не смотрел вообще на туеву хучу временных ссылок на каталоги, которые требуют разместить чтобы объявление о сайте приняли в базу.
Вот такой например конструкцией -
User-agent: *
Disallow:
<META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW">
Корректно ли составлен файл?? Не будет граблей для поисковиков??
|
|
|
30.03.2008, 20:03
|
|
Постоянный
Регистрация: 20.01.2007
Сообщений: 705
Провел на форуме:
5381835
Репутация:
1329
|
|
Добавь к каждой ссылке
Код:
<a rel="nofollow" ... >
|
|
|
|
30.03.2008, 20:51
|
|
Новичок
Регистрация: 29.02.2008
Сообщений: 19
Провел на форуме:
364208
Репутация:
1
|
|
Сообщение от ArdeOS
Вот такой например конструкцией -
User-agent: *
Disallow:
<META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW">
Корректно ли составлен файл?? Не будет граблей для поисковиков??
Нет, не правильно. Кури http://robotstxt.org.ru/ ; http://www.robotstxt.org/
А какая вообще ПС?
Если гугль, то он пройдёт по всем ссылкам, а тебя даже не спросит.
Если яндекс, то просто помести все ссылки в <noindex></noindex>
|
|
|
|
|
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
Похожие темы
Линейный вид
