Запрет индексации

[webjema]

Поднимал тему на Серче - народ не вкурсе оказался.
Надеюсь на вас, пацаны =)
Мне задали вопрос - как закрыть от индексации обратные ссылки.
Robots и noindex не предлагать.
Пример
hххp://www.apelsin.travel/links/ в индексе.
Разделы не в индексе.
Каждая отдельно ссылка - в индексе:
hххp://www.google.com/search?q=site%3Awww.apelsin.travel%2Flinks%2F&sourceid=navclient-ff&ie=UTF-8

Как так получается?

[lisa99]

ну и формулировка...
если вы имеете ввиду обратные ссылки для серых каталогов, то соотв. скрипты идут с оллсабом и др. покупным по или базами

[webjema]

Что конкретно не понятно в моем вопросе?
Ваш ответ не в тему.

[PaCo]

Что бы беки не ранжировалиcь соотвественно для это <noindex>(яша,рама) или rel="nofolow"(google) обычно прописывают в линках, по идее бот не должен индексить страницы что Disalow:/path_to_link_page но опять же по идеии google может по различным своим сервисам мониторинга выцепить реферера, особенно если трафф через него прет не плохой и закинуть беки в свой индекс, все же разумней использовать <noindex> и rel="nofolow" в самих линках чем тупа Disalow страницу где находятся беки.

[webjema]

Как я писал выше:
Robots и noindex не предлагать.

Так же не плохо было бы перед написанием ответа взглянуть на приведенный пример - он довольно интересен.

Для тех кто внимательно прочитал первый пост - говорят, можно как-то через htaccess устроить такой фокус.

[lisa99]

вчиталась. если я правильно понимаю, требуется организовать
боту

i- й уровень разрешить индексировать
i+1 - запретить
i+2 - разрешить

индексацией управляет все же robots.txt
а все ухищрения, которые можно сотворить (видела когда-то дискуссии на похожую тему, кажется на нулледе) в .htaccess будут больше походить на клоакинг, имхо

[PaCo]

Выдача ПС одного результата а пользователю другого неважно будь то .htaccess или скрипт это и есть натуральный клоакинг, соответственно покапайте в этом направлении, но по моему robots.txt и ref=, <noindex> являться самым правильным и общепринятым решением, потому как с клоакингом и до бана или нехилой пессимизации сайта не далеко.

[webjema]

Вы все правильно поняли.
Я вам в пример дал сайт. В роботс ничего такого там нет. Как и на страницах.
Соответсвенно вопрос остается - как это сделано? Почему такая картина в индексе?

[ZuS]

элементарно, используйте мета-теги
<meta name="robots" content="noindex,nofollow" /> - запрещает индексацию и передачу ссылочного
<meta name="robots" content="noindex,follow" /> - запрещает индексацию и разрешает передачу ссылочного
<meta name="robots" content="index,nofollow" /> - разрешает индексацию изапрещает передачу ссылочного

думаю ответил на ваш вопрос

[lisa99]

думаю ответил на ваш вопрос
не ответили.

По условию в стартовом топике - noindex не используется.

[ZuS]

lisa99, в условии имелся в виду ноуиндекс как тег,
<noindex>неидексируемый участок</noindex>

это же называется мета роботс

[ZuS]

более того ТС не просто не компетентен, но и ввел всех в заблуждение.
В примере, который он привел разделы есть в нидексе гугла:
кеш http://209.85.135.132/search?q=cache:mL-oQa7a5MgJ:www.apelsin.travel/links/%3Fcategory%3Dcat12+"Визы,+паспорта"+site:http://www.apelsin.travel/links/&cd=1&hl=ru&ct=clnk

и сама выдача
http://www.google.com/search?hl=ru&newwindow=1&q="Визы,+паспорта"+site:http://www.apelsin.travel/links/&btnG=Поиск&lr=


а способов закрытия от индекса всего несколько
1. noindex
2. robots
3. meta robots
4. отшибать ботов с помощью .htaccess или php обработчика
5. возвращать код ошибки или переноса (404, 301 и etc.)


вопрос закрыт?)

[webjema]

Не закрыт.
Приведенная ссылка
hххp://www.google.com/search?q=%22%D0%92%D0%B8%D0%B7%D1%8B,+%D0%BF%D0%B0 %D1%81%D0%BF%D0%BE%D1%80%D1%82%D0%B0%22+site:http://www.apelsin.travel/links/&hl=ru&lr=&newwindow=1&filter=0

Опять таки показывает СТРАНИЦЫ, но НЕ разделы.

4. отшибать ботов с помощью .htaccess
каким образом? Все об этом говорят, но ни кто не может показать как.

[W.K.]

Точной комманды не нашел, но если роботов немного, по IP:
order deny,allow
deny from all
allow from 66.249.68.147
P.s. как диап лочить, не помню

[ZuS]

webjema, блядь вы вообще слепы?
первой позицией идет в выдаче линк на http://www.apelsin.travel/links/?category=cat12
это что? раздел, верно? если нет покажите что по вашему раздел.

[ZuS]

закрываем от гугла

RewriteCond %{HTTP_USER_AGENT} ^.*google.*$ [NC]
RewriteRule .* - [F,L]


ТС пользуйтесь поиском все обсосано по 20 тысяч раз.

[webjema]

ZuS, спасибо за htaccess

Всем:
у кого-то так же есть в выдаче категория о которой говорит ZuS ?

[ZuS]

webjema, я тебе дал страницу на кеш - кеш страницы существует? да
значит страница в индексе, другого не дано (исключение - промежудочный период во время апдейта)

[struk666]

забанят тебя товарищь ну или владельцы ссылок лицо подправят..одно из двух.. что лучше хз