Что такое robots.txt

robots.txt - Файл для ограничения доступа к содержимому роботам на HTTP сервере. Его необходимо размещать в корневой директории сайта.
Инструкции, содержащиеся в файле, могут запрещать к индексации некоторые разделы или страницы на сайте, рекомендовать поисковому боту соблюдать определенный временной интервал между скачиванием документов с сервера и др.

Имя файла не должно содержать заглавных букв! Записи в файле разделяются одной или несколькими пустыми строками. Комментарии в файле robots.txt начинаются знаком “#” и заканчиваются окончанием строки.

Создание файла
Чтобы создать файл robots.txt, нужен простой текстовый файл. Если вы не собираетесь создавать запреты к индексации, можно сделать пустой файл.

Описание
В файл robots.txt обычно пишут примерно следующее:
В этом случае будет запрещена индексация директорий /cgi-bin и /tmp.

! Каждая директория указана на отдельной строке - нельзя написать:
Также нельзя разбивать инструкцию Disallow или User-agent на несколько строк, т.к. перенос строки используется для отделения инструкций друг от друга.

Регулярные выражения и символы подстановки так же нельзя использовать. "Звездочка" (*) в инструкции User-agent означает "любой робот". Инструкции вида:
или
не поддерживаются!

----

Запретить весь сайт для индексации всеми роботами
Разрешить всем роботам индексировать весь сайт
(Аналогично пустому файлу robots.txt)

Закрыть от индексации только несколько каталогов
Запретить индексацию сайта только для одного робота
Разрешить индексацию сайта одному роботу и запретить всем остальным
Полезные ссылки

• Энциклопедия поисковых систем
• Приоритеты обработки записей в robots.txt
• Работа над файлом robots.txt
• Управление индексацией сайта (файл robots.txt)