PDA

Просмотр полной версии : Загружают ли поисковые боты JS?

Markus_13
05.12.2009, 17:40
У меня на одном сайте (без пхп) менюшка (с ссылками) генерируется на каждой странице через JS - бот индексирует только главную страницу (остальные не видит), файл robots отсутствует...

Если всеже crawler`ы юзают JS - еще один вопрос: можно ли на JS определить - кто грузит страницу юзер или бот??
phpdreamer
05.12.2009, 17:55
нет
и
нет
diehard
05.12.2009, 18:25
1) да
2) можно, но сложно
rushter
05.12.2009, 19:20
Карту сайта сгенерируй и скорми ботам.
phpdreamer
05.12.2009, 19:26
1) да

они же не интерпритируют джаваскрипт
бот - не браузер





2 rushter +
Markus_13
05.12.2009, 19:30
Карту сайта сгенерируй и скорми ботам.- то что не индексируются остальные страницы это пока что неважно - я просто код перепишу на пхп и сменю хост, это просто как аргумент в пользу того что краулеры не работают с JS...
Мне гораздо важнее получить ответ на 2 вопрос.

З.Ы. Ответы типа "да"/"нет" меня не устраивают - аргументируйте или давайте линки на инфу, на основе которой был вынесен вердикт... ну или вообще не пишите - если точно не знаете.
LStr1ke
05.12.2009, 19:57
Если всеже crawler`ы юзают JS - еще один вопрос: можно ли на JS определить - кто грузит страницу юзер или бот??
Я не знаю можно ли на JS определить User-Agent. Я уже точно не помню для чего, но делал в связке с php.
Что-то вроде:

<script>
<?php
echo "var ua=\"".$_SERVER['HTTP_USER_AGENT']."\";";
?>
alert("Ваш юзер агент - "+ua);
</script>

Это конечно как вариант, но ща глянул в гугл есть и реализация на JS
vvs777
05.12.2009, 21:48
у меня на сайте ссылки также генерируются на JS и ни одна сволочь их не индексирует.
Пришлось сделать "кеш" ака карта сайта. Она сразу попала в индекс.
phpdreamer
05.12.2009, 22:06
аргументирую ответ на второй вопрос
https://forum.antichat.ru/thread157764.html
diehard
05.12.2009, 22:57
гугл выполняет javascript давным давно
Markus_13
06.12.2009, 00:47
Это конечно как вариант, но ща глянул в гугл есть и реализация на JS
Искал уже достаточно давно - ничего не нашел по этой теме

По моим личным наблюдениям - всеже JS краулерами не выполняется - т.к. в кэше ПС - мой сайт без того контента, который динамически генерится на JS

З.Ы. возможно у разных ПС - по разному, но гугл мой сайт также не проиндексировал (тока главную страницу)
diehard
06.12.2009, 00:56
То что JS-краулер не добрался до твоего сайта не означает, что JS-краулера нету ))
rushter
06.12.2009, 01:11
гугл выполняет javascript давным давно
Анализирует,но не выполняет.Насколько я знаю.
diehard
06.12.2009, 01:19
Анализирует,но не выполняет.Насколько я знаю.
Обфусцированные редиректы запрятанные в JS отлично обрабатывает (в т.ч. и события типа onmouseover, setTimeout, и ajax тоже), и бежит по ссылкам. По опыту с дорвеями знаю
Markus_13
06.12.2009, 01:26
То что JS-краулер не добрался до твоего сайта не означает, что JS-краулера нету ))
Т.е. JS-краулер работает отдельно от основного бота?
хм, подожду еще неск-ко дней))
diehard
06.12.2009, 07:25
Т.е. JS-краулер работает отдельно от основного бота?
хм, подожду еще неск-ко дней))
Гуглботы есть специальные под разные цели, есть гугл бот который выкупает штучки с js, есть который выкупает клоакинг и т.д.
Может и вовсе не прийти, если нет на сайте трафа. Поставь пару десятков ссылок с PR>5, сразу ощутишь на себе всю мощь гугловских хитроботов ))
LStr1ke
06.12.2009, 08:14
Обфусцированные редиректы запрятанные в JS отлично обрабатывает (в т.ч. и события типа onmouseover, setTimeout, и ajax тоже), и бежит по ссылкам. По опыту с дорвеями знаю
Eto i est' analiz =\
on isleduet kod JS i emuliruet pol'zovatelya. esli est' naprimer
[onclick="document.location='page.chm'"]
on budet indeksirovat' page.chm i ne budet lomat' "golovu" nad ciklami, dvijeniem kartinok i td.
Analiz dlya indeksacii i vipolnenie JS - raznie veshi =\

Sorry za kodirovku. WIN tupit padla :)
Markus_13
06.12.2009, 09:05
diehard, Так получается индексация по JS всетаки не идет - поиск дорвеев и тому подобное - это мне пох впринципе, меня интересует именно обработка JS-генерируемого контента.

З.Ы. появилась кстати идейка: создать невидимый ифрейм на главной со всеми ссылками - и поидее можно обойтись без карты сайта))

З.З.Ы. и еще: на пыхе-то точно можно кравлеров отлавливать - и если для ботов будет генериться дополнительный keyword`ный мусор - это негативно не отразится на рейтинге?)))