robots.txt — ANTICHAT Forum

09.01.2008, 02:08

FeraS

Постоянный

Регистрация: 20.01.2007

Сообщений: 705

Провел на форуме:
5381835

Репутация: 1329

Отправить сообщение для FeraS с помощью ICQ

Частые ошибки

Перепутанные инструкции
Неправильно:

Код:

User-agent: /
Disallow: Yandex

Правильно:

Код:

User-agent: Yandex
Disallow: /

Несколько каталогов в одной инструкции Disallow
Нельзя:

Код:

Disallow: /css/ /cgi-bin/ /images/

Запись, нарушающая стандарт, угадать, как ее обработают разные роботы невозможно.
Некоторые просто отбросят пробелы и интерпретируют как:

Код:

Disallow: /css/cgi-bin/images/

Кто-то может просто отбросить эту инструкцию.

Правильно писать так:

Код:

Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/

Имя файла написано неправильно
Файл должен называться robots.txt, а не Robots.txt или ROBOTS.TXT и уж никак не robot.txt

Пустая строка в User-agent
Неправильно:

Код:

User-agent: 
Disallow:

Правильно:

Код:

User-agent: *
Disallow:

URL в директиве Host
URL необходимо писать без префикса http:// и без закрывающего слеша /

Неправильно:

Код:

User-agent: Yandex
Disallow: /cgi-bin
Host: http://www.aeweb.ru/

Правильно:

Код:

User-agent: Yandex
Disallow: /cgi-bin
Host: www.aeweb.ru

Эта директива корректна только для роботов Яндекса

Символы подстановки в Disallow
Нельзя:

Код:

User-agent: *
Disallow: file*.html

Хотя некоторые роботы ее поддерживают
http://www.google.ru/support/webmast...367&topic=8846

ANTICHAT — форум по информационной безопасности, OSINT и технологиям