|
Запрет индексации через .htaccess
Как запретить индексирование отдельной папки или всех папок/файлов сразу ? Не хочу палить двиг на хосте,но также хочу сохранить возможность индексирования остальных,нужных мне папок.И ещё вопрос: если не стоит никаких мер против индексации поисковиков,то как быстро сработает мегаприём Index .of ? Спасибо.
|
Создать файл robots.txt в корне сайта, с содержимым:
Код:
User-agent : * |
Зачем через него ? Я так только расположение админки укажу ))Слышал,что можно через .htaccess как-то (мод рерайт),но сам никогда такого не делал.Вообще,нужно закрыть для индексации несколько папок по желанию и файлов,содержащихся в них,но так,чтобы об этом не стало известно ни гуглу,ни посетителям )
|
Любая папка, доступная из веба - доступна и гуглу. А роботсы.тхт - это ты правильно подметил, гы
|
Цитата:
|
Да... я раньше думал,что алиасы спасут.Но блин,почему тогда на других сайтах в роботс.тхт не указывается папка админки,но и другие поисковики не видят её =_=.Проверено на друпале и жумле)
ЗЫ: Pashkela,с тобой я не согласен))Решение есть... |
Цитата:
Я не совсем тебя понял: Что ты имел ввиду в плане *доступная из веба* ? Доступно его содержимое или же существование известно ?(Знание о существовании папки на сервере - тоже часть доступа )) ).Если что,то я имел в виду предотвращение узнавания существования папки или файла) |
Велемир Гугл индексирует страницу, только если где-то есть ссылка на эту страницу. Следовательно - найдите эти ссылки и прибейте их, добавьте роботс.тхт на время очередной индексации чтобы убрать админку из поиска. Потом роботс можно удалить
Через хтаксес можно заблокировать гугло бота на определенные страницы, но зачем? |
ахахах,вот не знал)))То бишь должна быть где-то ссылка на странице(неважно какая) на админку,чтобы её спалить ?))А как узнать время индексации ? Всмысле когда там гугл начнёт мучиться,бегая по сайту? А то я не пойму,когда роботс удалять)
|
Цитата:
Другое дело что если гугл его не забанит то через какоето время он вернется чтобы проиндексировать повторно. |
Так сайт уже проиндексирован),а как определить,когда будет переиндексация сайта заного ?
|
Цитата:
|
2 PEPSICOLA:
))) Пусть они думают, что они в курсе механизма работы гугла - избранные то есть:) |
гг,я этого палева реферера боюсь уже как года три четыре)))
|
Велемир
http://www.beget.ru/art10.html ps: но гугл не всегда ходит под "своим" user agent'ом |
Цитата:
|
Велемир Индексация где то раз в 3-5 дней. Посмотреть можно в access_log если там сохраняется юзер-агент.
Код:
grep -i "googlebot" путь/до/access_log |
в хтацессе мод реврайт с нужных страниц на 404 если в юзер агенте есть слово Google. проканывает ) но точный код не знаю. где-то видел...
|
| Время: 00:01 |