Запрет индексации через .htaccess

[Велемир]

Как запретить индексирование отдельной папки или всех папок/файлов сразу ? Не хочу палить двиг на хосте,но также хочу сохранить возможность индексирования остальных,нужных мне папок.И ещё вопрос: если не стоит никаких мер против индексации поисковиков,то как быстро сработает мегаприём Index .of ? Спасибо.

[Gifts]

Создать файл robots.txt в корне сайта, с содержимым:
User-agent : *
Disallow : /папка1
Disallow : /папка2

[Велемир]

Зачем через него ? Я так только расположение админки укажу ))Слышал,что можно через .htaccess как-то (мод рерайт),но сам никогда такого не делал.Вообще,нужно закрыть для индексации несколько папок по желанию и файлов,содержащихся в них,но так,чтобы об этом не стало известно ни гуглу,ни посетителям )

[Pashkela]

Любая папка, доступная из веба - доступна и гуглу. А роботсы.тхт - это ты правильно подметил, гы

[Nightmarе]

Любая папка, доступная из веба - доступна и гуглу. А роботсы.тхт - это ты правильно подметил, гы
А если сгенерировать типа "h9DJLTe2niEaP9zs0vU7KW" всё равно найдёт?

[Велемир]

Да... я раньше думал,что алиасы спасут.Но блин,почему тогда на других сайтах в роботс.тхт не указывается папка админки,но и другие поисковики не видят её =_=.Проверено на друпале и жумле)

ЗЫ: Pashkela,с тобой я не согласен))Решение есть...

[Велемир]

Любая папка, доступная из веба - доступна и гуглу.


Я не совсем тебя понял: Что ты имел ввиду в плане *доступная из веба* ? Доступно его содержимое или же существование известно ?(Знание о существовании папки на сервере - тоже часть доступа )) ).Если что,то я имел в виду предотвращение узнавания существования папки или файла)

[Gifts]

Велемир Гугл индексирует страницу, только если где-то есть ссылка на эту страницу. Следовательно - найдите эти ссылки и прибейте их, добавьте роботс.тхт на время очередной индексации чтобы убрать админку из поиска. Потом роботс можно удалить

Через хтаксес можно заблокировать гугло бота на определенные страницы, но зачем?

[Велемир]

ахахах,вот не знал)))То бишь должна быть где-то ссылка на странице(неважно какая) на админку,чтобы её спалить ?))А как узнать время индексации ? Всмысле когда там гугл начнёт мучиться,бегая по сайту? А то я не пойму,когда роботс удалять)

[$now]

ахахах,вот не знал)))То бишь должна быть где-то ссылка на странице(неважно какая) на админку,чтобы её спалить ?))А как узнать время индексации ? Всмысле когда там гугл начнёт мучиться,бегая по сайту? А то я не пойму,когда роботс удалять)
Ты можеш легко понять проиндексирован ли твой сайт введя в гугл его адрес.
Другое дело что если гугл его не забанит то через какоето время он вернется чтобы проиндексировать повторно.

[Велемир]

Так сайт уже проиндексирован),а как определить,когда будет переиндексация сайта заного ?

[PEPSICOLA]

А если сгенерировать типа "h9DJLTe2niEaP9zs0vU7KW" всё равно найдёт?
если доступ открыт нескольким людям, то вполне возможно что через какой то refer - путь может уплыть на сайт где стоит скрипт google adsense, либо, кто то юзает google crome.

[Pashkela]

2 PEPSICOLA:

))) Пусть они думают, что они в курсе механизма работы гугла - избранные то есть:)

[Велемир]

гг,я этого палева реферера боюсь уже как года три четыре)))

[oRb]

Велемир
http://www.beget.ru/art10.html

ps: но гугл не всегда ходит под "своим" user agent'ом

[$now]

Так сайт уже проиндексирован),а как определить,когда будет переиндексация сайта заного ?
поменяй содержание какойнибудь странице и ищи адрес сайта вместе со словом которого там небыло раньше.

[Gifts]

Велемир Индексация где то раз в 3-5 дней. Посмотреть можно в access_log если там сохраняется юзер-агент. grep -i "googlebot" путь/до/access_log

[_==wolf==_]

в хтацессе мод реврайт с нужных страниц на 404 если в юзер агенте есть слово Google. проканывает ) но точный код не знаю. где-то видел...