Частые ошибки
Перепутанные инструкции
Неправильно:
Код:
User-agent: /
Disallow: Yandex
Правильно:
Код:
User-agent: Yandex
Disallow: /
Несколько каталогов в одной инструкции Disallow
Нельзя:
Код:
Disallow: /css/ /cgi-bin/ /images/
Запись, нарушающая стандарт, угадать, как ее обработают разные роботы невозможно.
Некоторые просто отбросят пробелы и интерпретируют как:
Код:
Disallow: /css/cgi-bin/images/
Кто-то может просто отбросить эту инструкцию.
Правильно писать так:
Код:
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/
Имя файла написано неправильно
Файл должен называться
robots.txt, а не
Robots.txt или
ROBOTS.TXT и уж никак не
robot.txt
Пустая строка в User-agent
Неправильно:
Код:
User-agent:
Disallow:
Правильно:
Код:
User-agent: *
Disallow:
URL в директиве Host
URL необходимо писать без префикса http:// и без закрывающего слеша /
Неправильно:
Код:
User-agent: Yandex
Disallow: /cgi-bin
Host: http://www.aeweb.ru/
Правильно:
Код:
User-agent: Yandex
Disallow: /cgi-bin
Host: www.aeweb.ru
Эта директива корректна только для роботов Яндекса
Символы подстановки в Disallow
Нельзя:
Код:
User-agent: *
Disallow: file*.html
Хотя некоторые роботы ее поддерживают
http://www.google.ru/support/webmast...367&topic=8846