HOME    FORUMS    MEMBERS    RECENT POSTS    LOG IN  
Баннер 1   Баннер 2

ANTICHAT — форум по информационной безопасности, OSINT и технологиям

ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию. Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club, и теперь снова доступен на новом адресе — forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.
Вернуться   Форум АНТИЧАТ > ПРОГРАММИРОВАНИЕ > PHP
   
Ответ
 
Опции темы Поиск в этой теме Опции просмотра

Правильно ли составлен robots.txt
  #1  
Старый 06.11.2007, 13:35
Naydav
Постоянный
Регистрация: 30.12.2006
Сообщений: 434
Провел на форуме:
849583

Репутация: 210
Question Правильно ли составлен robots.txt

Правильно ли составлен robots.txt если необходимо запретить индексацию сайта всем поисковикам кроме - Yandex, Google, Rambler, Meta, Bigmir


User-agent: Yandex
User-agent: Googlebot
User-agent: BigmirSpider
User-agent: MetaSpider
User-agent: StackRambler
Disallow:
Host: www.site.com

User-agent: *
Disallow: /

---

Последний раз редактировалось Naydav; 07.07.2008 в 17:29..
 
Ответить с цитированием

  #2  
Старый 06.11.2007, 20:07
halkfild
Постоянный
Регистрация: 11.11.2005
Сообщений: 391
Провел на форуме:
7084941

Репутация: 2277
По умолчанию

вроде правильно

некоторое потверждение
http://forum.antichat.ru/thread51728.html
http://www.fdmua.com/articles/5/32.html
 
Ответить с цитированием
Ответ





Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 


Быстрый переход




ANTICHAT.XYZ