Форум АНТИЧАТ

Форум АНТИЧАТ (https://forum.antichat.xyz/index.php)
-   PHP, PERL, MySQL, JavaScript (https://forum.antichat.xyz/forumdisplay.php?f=37)
-   -   Загружают ли поисковые боты JS? (https://forum.antichat.xyz/showthread.php?t=161309)

Markus_13 05.12.2009 17:40
Загружают ли поисковые боты JS?
 
У меня на одном сайте (без пхп) менюшка (с ссылками) генерируется на каждой странице через JS - бот индексирует только главную страницу (остальные не видит), файл robots отсутствует...

Если всеже crawler`ы юзают JS - еще один вопрос: можно ли на JS определить - кто грузит страницу юзер или бот??

phpdreamer 05.12.2009 17:55
нет
и
нет

diehard 05.12.2009 18:25
1) да
2) можно, но сложно

rushter 05.12.2009 19:20
Карту сайта сгенерируй и скорми ботам.

phpdreamer 05.12.2009 19:26
Цитата:
Сообщение от diehard
1) да
они же не интерпритируют джаваскрипт
бот - не браузер





2 rushter +

Markus_13 05.12.2009 19:30
Цитата:
Карту сайта сгенерируй и скорми ботам.
- то что не индексируются остальные страницы это пока что неважно - я просто код перепишу на пхп и сменю хост, это просто как аргумент в пользу того что краулеры не работают с JS...
Мне гораздо важнее получить ответ на 2 вопрос.

З.Ы. Ответы типа "да"/"нет" меня не устраивают - аргументируйте или давайте линки на инфу, на основе которой был вынесен вердикт... ну или вообще не пишите - если точно не знаете.

LStr1ke 05.12.2009 19:57
Цитата:
Если всеже crawler`ы юзают JS - еще один вопрос: можно ли на JS определить - кто грузит страницу юзер или бот??
Я не знаю можно ли на JS определить User-Agent. Я уже точно не помню для чего, но делал в связке с php.
Что-то вроде:
PHP код:
<script>
<?php
echo "var ua=\"".$_SERVER['HTTP_USER_AGENT']."\";";
?>
alert("Ваш юзер агент - "+ua);
</script>
Это конечно как вариант, но ща глянул в гугл есть и реализация на JS

vvs777 05.12.2009 21:48
у меня на сайте ссылки также генерируются на JS и ни одна сволочь их не индексирует.
Пришлось сделать "кеш" ака карта сайта. Она сразу попала в индекс.

phpdreamer 05.12.2009 22:06
аргументирую ответ на второй вопрос
https://forum.antichat.ru/thread157764.html

diehard 05.12.2009 22:57
гугл выполняет javascript давным давно

Markus_13 06.12.2009 00:47
Цитата:
Это конечно как вариант, но ща глянул в гугл есть и реализация на JS
Искал уже достаточно давно - ничего не нашел по этой теме

По моим личным наблюдениям - всеже JS краулерами не выполняется - т.к. в кэше ПС - мой сайт без того контента, который динамически генерится на JS

З.Ы. возможно у разных ПС - по разному, но гугл мой сайт также не проиндексировал (тока главную страницу)

diehard 06.12.2009 00:56
То что JS-краулер не добрался до твоего сайта не означает, что JS-краулера нету ))

rushter 06.12.2009 01:11
Цитата:
Сообщение от diehard
гугл выполняет javascript давным давно
Анализирует,но не выполняет.Насколько я знаю.

diehard 06.12.2009 01:19
Цитата:
Сообщение от rushter
Анализирует,но не выполняет.Насколько я знаю.
Обфусцированные редиректы запрятанные в JS отлично обрабатывает (в т.ч. и события типа onmouseover, setTimeout, и ajax тоже), и бежит по ссылкам. По опыту с дорвеями знаю

Markus_13 06.12.2009 01:26
Цитата:
То что JS-краулер не добрался до твоего сайта не означает, что JS-краулера нету ))
Т.е. JS-краулер работает отдельно от основного бота?
хм, подожду еще неск-ко дней))

diehard 06.12.2009 07:25
Цитата:
Сообщение от Markus_13
Т.е. JS-краулер работает отдельно от основного бота?
хм, подожду еще неск-ко дней))
Гуглботы есть специальные под разные цели, есть гугл бот который выкупает штучки с js, есть который выкупает клоакинг и т.д.
Может и вовсе не прийти, если нет на сайте трафа. Поставь пару десятков ссылок с PR>5, сразу ощутишь на себе всю мощь гугловских хитроботов ))

LStr1ke 06.12.2009 08:14
Цитата:
Сообщение от diehard
Обфусцированные редиректы запрятанные в JS отлично обрабатывает (в т.ч. и события типа onmouseover, setTimeout, и ajax тоже), и бежит по ссылкам. По опыту с дорвеями знаю
Eto i est' analiz =\
on isleduet kod JS i emuliruet pol'zovatelya. esli est' naprimer
[onclick="document.location='page.chm'"]
on budet indeksirovat' page.chm i ne budet lomat' "golovu" nad ciklami, dvijeniem kartinok i td.
Analiz dlya indeksacii i vipolnenie JS - raznie veshi =\

Sorry za kodirovku. WIN tupit padla :)

Markus_13 06.12.2009 09:05
diehard, Так получается индексация по JS всетаки не идет - поиск дорвеев и тому подобное - это мне пох впринципе, меня интересует именно обработка JS-генерируемого контента.

З.Ы. появилась кстати идейка: создать невидимый ифрейм на главной со всеми ссылками - и поидее можно обойтись без карты сайта))

З.З.Ы. и еще: на пыхе-то точно можно кравлеров отлавливать - и если для ботов будет генериться дополнительный keyword`ный мусор - это негативно не отразится на рейтинге?)))


Время: 01:27