Основные зарубежные поисковые системы, их доля на рынке

Львиная доля всего мирового поиска приходится на такие поисковые системы: Google Search, Yahoo! Search и Microsoft Live Search. Эти три американские компании конкурируют между собой в борьбе за главный приз, то есть пользователей, которые пришли за помощью в Интернет.

Чтобы оценить доли присутствия этих и других компаний было бы неплохо, если бы поисковые системы сами давали подробные отчеты о своей работе в свободный доступ, однако это маловероятно, так как подобная информация является коммерческой тайной.

Но все-таки существуют компании, которые как раз и занимаются сбором статистики по подобным вопросам. Наиболее авторитетной в этом плане является компания NetRatings, Inc. Именно она постоянно информирует Интернет-сообщество о результатах своих исследований в областях интернет-коммерции, маркетинга, онлайн рекламы и поисковых технологий.

По данным последнего опубликованного отчета об объемах поисковых запросов за декабрь 2006 года, на американском рынке мы можем наблюдать такую ситуацию рис.1.

Судя по этой статистике, сейчас более 80% американского рынка поиска делят между собой те самые три компании, о которых мы говорили ранее.

Google Search

На сегодняшний день компания Google Inc. владеет самой популярной поисковой системой, Google имеет одну из самых больших баз проиндексированных документов. Движок поисковой системы разработали еще в 1997 году Сергей Брин и Ларри Пейдж, выпускники Стэндфордского университета. Они же одними из первых применили для алгоритмов определения релевантности страниц технологию PageRank, которая основывается на авторитетности документа, в зависимости от внешних ссылок на него.

Поначалу компания Google позиционировала себя только на рынке поиска. Сейчас же она имеет множество направлений и различных интернет-сервисов, среди которых разработка программного обеспечения, бесплатная почтовая система, собственная система электронных платежей и другие.

Yahoo Search

Изначально, с 1995 года, портал Yahoo существовал исключительно как каталог сайтов. Со временем Yahoo! обрастала все новыми и новыми сервисами и мини-проектами, а где-то с 2000 года стала использовать поисковый движок сторонней компании Inktomi. Чуть позже выбор пал на поисковый движок Google. Именно его и использовала компания Yahoo! до 2004 года. А в 2004 году была представлена собственная поисковая система, и от услуг Google пришлось отказаться.

Что удивительно, в 2002 году президент компании Yahoo Терри Семел (Terry Semel) вел переговоры о покупке Google Inc, которой было предложено $3 млрд., но владельцы хотели за свою компанию $5 млрд. На то время эта сумма для Yahoo была просто астрономической, так как пришлось бы задействовать все свои резервы.

Через 2 года компания Google вышла на биржу и ее рыночная капитализация превысила $150 млрд. Сейчас Google занимает 2 место среди IT-компаний в мире по рыночной капитализации. На первом месте находится компания Microsoft.

MSN / Windows Live Search

Учитывая то, что компания Microsoft – мировой лидер среди компаний по рыночной капитализации, и то, что более 2/3 компьютеров в мире работают под ее операционной системой, было бы наивно думать, что Microsoft не поборется за рынок поисковых технологий. Так и есть, компания давно хотела разработать свой поисковый движок и сейчас он у нее уже есть. Пусть он не так популярен, как Google, но предпосылки для развития и улучшения качества поиска у него есть. А именно качество поиска привлекает к себе как пользователей, так и потенциальных рекламодателей.

Особенности продвижения сайтов в поисковых системах Google, Yahoo, Live. Разбор алгоритмов борьбы с поисковым спамом, песочница Google, Supplemental Results, бонусы и фильтры, мифы и реальность

Основные принципы ранжирования документов у популярных поисковых систем практически одинаковы. Но некоторые нюансы работы, методы определения поискового спама и отношение к нему все же несколько отличаются.
Рассмотрим наиболее интересные моменты каждой поисковой системы.

Google Search

На сегодняшний день это самая популярная поисковая система. Она имеет наибольшее количество запросов пользователей в месяц. Также считается, что именно поиск Google сейчас обладает самой продвинутой системой. Вследствие такой популярности возникли и очень высокие требования к качеству поиска, и их пока компания выполняет на высоте.

Изо дня в день мы слышим о новых и новых патентах, которые Google регистрирует в области поисковых технологий. Вебмастера всего мира пытаются разобраться, работают ли эти патенты уже сегодня или это вопрос ближайшего будущего. Не претендуя на самые полные знания в этой области, могу рассказать вам об наиболее важных практических моментах, возникающих при продвижении сайта.

Отношение к контенту сайта

Эта поисковая система очень требовательна к уникальности текста на вашем сайте. Современные алгоритмы сегодня позволяют определять уникальность текста по различным признакам. Определить точную копию документа очень легко. Если вы, например, сделали страницу, содержащую абзацы из других источников – будьте уверены Google об этом знает. Другой вопрос, как он отреагирует. Качество поиска оценивается в конечном итоге тем, нашел ли пользователь то, что искал или нет.

Если говорить о дублировании контента, то это очень серьезная задача для любой поисковой системы, правильно определять это. Если вы написали интересную статью и разместили ее на разных проектах, то Google при одних и тех же условиях будет выдавать выше более авторитетные, по его мнению, ресурсы, а не более свежие или ранее напечатанные материалы. Большую роль здесь играет PageRank.

К контенту, который напичкан ключевыми словами, отношение довольно обычное. На результаты поиска все эти проценты плотности после какого-то предела не влияют вообще, а вот быть распознанным как спам документ имеет все шансы.

По заявлению разработчиков, Google имеет несколько кешей для хранения информации, которые могут выполнять несколько различные функции друг от друга. Например, есть так называемый новостной кеш. В него попадают часто обновляемые документы или просто свежие документы на некоторое время. Есть основной кеш, в котором хранится информация о текущем состоянии веб страниц. Также, возможно, есть кеш, где хранятся все изменения документов и история их развития. Как точно это реализовано, трудно сказать, но информацию о каком-то количестве изменений каждого документа Google хранит.

Основываясь на информации, которая есть у Google, в определенные моменты времени в основной поиск подмешиваются сайты с новостного индекса с более высокими статическими коэффициентами, далее со временем они либо опускаются вниз, либо в результате работы каких-то алгоритмов могут вообще пропадать.

Также у Google есть дополнительный индекс, так называемые Supplemental Results. Туда, по заявлениям разработчиков, могут попадать как нечеткие дубликаты страниц, документы с «плохим» контентом, а также просто страницы с невысоким значением PageRank. Далее при ранжировании документов эти страницы могут не участвовать в основном поиске, но если попробовать поискать по очень редким запросам такие страницы, то мы их сможем увидеть. Судя по всему, Google просто обнуляет им какие-то параметры, которых не хватает для основного поиска.

Что делать, если страницы вашего сайта попали в Supplemental Results? Убедитесь в том, что каждая отдельно взятая страница имеет уникальное внутреннее наполнение, отличное от других страниц этого же сайта, уникальное содержание тегов и META-description. Если все это есть, то позаботьтесь о внешних ссылках на эти страницы. Также нужно немного набраться терпения и подождать. Если все условия выполнены, то будьте уверены, что скоро ваши страницы появятся в основном индексе.

Отношение к внешним ссылкам на сайт

Старайтесь, чтобы абсолютно каждая ссылка, ведущая на ваш сайт была с уникальным текстом. Существуют алгоритмы, которые фильтруют ссылки с одинаковым текстом. Для вас это будет означать, что ваш труд не принесет никакой пользы.

Также нужно иметь ввиду, что обратные ссылки должны расти медленно, в соответствии с ростом контента. Это означает, что очень быстрое увеличение количества ссылок на ваш сайт приведет к тому, что сайт получит какой-то штраф и надолго потеряет возможность конкурировать с остальными.

Чем дольше стоит ссылка с определенным ключевым словом, тем больше пользы от нее. Частая смена текстов ссылки на одной и той же странице сведет силу этой ссылки к минимуму. Все эти моменты отображены в патентах Google.

Очень важную роль играет PageRank страницы, с которой ведет ссылка на ваш сайт. Чем он выше, тем лучше. Но стоит учесть, что Google легко определяет тематику как ссылающихся сайтов, так и тех, на кого ссылаются. И очень часто бывает, что ссылка, ведущая с сайта с высоким PageRank, практически ничего не добавляет, так как ведет на нетематический ресурс.

Борьба с поисковым спамом

Нам нужно смириться с тем, что очень большая часть Интернета – это информационный мусор, или шум. Если человек сразу может по внешнему виду определить, что это за сайт, то поисковые системы должны делать это максимально автоматизировано.

Сейчас Google легко определяет клоакинг, чрезмерное использование ключевых слов в тексте, исполняет простенькие JavaScript-ы и ищет редиректы. Также на сегодняшний день у этой поисковой системы довольно хороший алгоритм определения дубликатов.

Вычислительные процессы, происходящие внутри этой сложной системы, независимы и могут быть разбросаны во времени. Я имею в виду, что так называемые выбросы данных могут происходить по разным параметрам в разное время. Например, если вы поменяли Title на сайте, то увидеть, как это повлияет на поиск, можно уже через несколько дней, если поменяли полностью контент, то должны дождаться другого мини-апдейта. Сила обратных ссылок пересчитывается, например, раз в месяц. PageRank пересчитывается постоянно. Но на разных датацентрах и при разных условиях выбросы данных в основной поиск могут не совпасть с пересчетом других параметров. Поисковым спамерам не подходят такие варианты – они хотят все и сразу, вот и попадаются за массовость и скорость на крючки различных алгоритмов. Определение спама в Google полностью автоматизировано, модераторы стараются не вмешиваться в работу алгоритмов и удалять сайт руками – это делается алгоритмически. В этой борьбе всегда выигрывает тот, кто не спешит и последовательно движется к своей цели.

Что такое «песочница», или Google Sandbox

Пожалуй, это самый жаркий момент, который интересует вебмастеров всего мира в Google. Вследствие различных совершенствований алгоритмов сложилась такая ситуация, что новому сайту практически невозможно попасть на первую страницу поиска в Google по конкурентным запросам. Есть мнение, что поисковая система просто не пускает в течение шести месяцев новые сайты в выдачу по конкурентным запросам. Это немного не так, и сейчас я попробую вам объяснить почему.

Первое, на что нужно обратить внимание – это на публикации представителей этой поисковой системы. Они заявляют, что ничего подобного специально не разрабатывали, и все это следствие различных факторов. Они не могут быть одинаковыми для всех сайтов, а рассчитываются в зависимости от ситуации.

Основная идея этого явления (Sandbox) заключается в том, что недавно появившийся в сети сайт не может быть авторитетным и его голос не стоит принимать во внимание. Для начала люди должны узнать все о нем, проанализировать, дать свое мнение. На все это нужно время чисто физически. Также немного неестественно выглядит сайт, который вдруг ни с того ни с сего получил много ссылок, а его конкуренты нет. В зависимости от ситуации Google рассчитывает пороговые значение для каждого сайта, также это явление зависит от поискового запроса. Пока сайт не удовлетворяет всем требованиям, его либо нельзя найти среди первых 1000 результатов, либо он очень далеко от первой страницы, если общее количество всех релевантных запросу документов небольшое.

Далее, мы более наглядно попробуем разобрать работу этой системы, пусть и обобщенно.


Рис. 2 Сложившееся мнение о Sandbox

Судя по этому рисунку, многие вебмастера думают, что это какая-то дискриминация со стороны Google по отношению к их новым «чудо-сайтам». Многие возмущаются: «Как же так, у меня ведь такой интересный сайт»? Почти все сводится к каким-то санкциям и запретам, но техническую сторону вопроса никто даже не собирается рассматривать. В любом случае, для большинства «Sandbox» выглядит как черный ящик. На выходе имеем какие-то данные, и на входе. Но связать их в одно целое, выяснив взаимодействие факторов четко, не удается. Каждый вебмастер или специалист по продвижению сайтов пытается трактовать этот «черный ящик» по-своему. Вследствие чего появляется большое количество фантастических рассказов и рецептов, чтобы побороть это явление. Некоторые пишут на форумах, что “Я разгадал секрет песочницы, заходите ко мне в закрытый платный раздел – но не думайте, что я вам стану все рассказывать”. Это выглядит очень смешно, учитывая огромные интеллектуальные и технические возможности специалистов из Google. Надеяться на какие-то прямолинейные рецепты, которые сработают для любого случая, просто глупо.

Давайте хотя бы попытаемся предположить, что же может входить в эти грандиозные формулы Google, какие факторы и в какой степени на что влияют.

Начнем с временных факторов. Нам известно, что компания Google уже зарегистрировала несколько патентов на тему ранжирования сайтов, полагаясь на исторические данные об их развитии. Теперь для определения релевантности в алгоритмах могут использоваться дата регистрации домена, дата первой индексации сайта, даты появления внешних ссылок и их динамика, даты всех изменений текста на сайте и другие.

Внимательно прочитав все эти патенты, можно предположить, что:

- чем раньше сайт зарегистрирован – тем лучше;
- чем раньше первый раз проиндексирован – тем лучше;
- чем дольше стоят внешние ссылки на сайт, тем больше веса они передают;
- если внешние ссылки появляются естественно, не очень быстро, то это хорошо;
- если сайт часто обновляется, то это хорошо;
- если сайт резко поменял свою тематику через какое-то время, то это плохо;
- со временем усиливается влияние всех факторов как внутренних, так и внешних.

Поскольку поисковые системы ранжируют страницы сайтов, то можно предположить, что есть какие-то факторы, зависящие от самого сайта. Это могут быть все те временные факторы, что мы упомянули, а также внутреннее содержимое сайта. Можно предположить, что Google ведет статистику по всем сайтам в сети и знает, какой вид имеет среднестатистический хороший сайт, как он должен развиваться, в какой последовательности. Тогда можно сказать, что лучше не усердствовать с оптимизацией контента сайта на начальном этапе развития, не гнаться за плотностью ключевых слов и прочим.

Безусловно, что на работу этого алгоритма влияют внешние факторы, применительно к какому-то конкретному сайту. Какими же они могут быть? Естественно, что речь идет о ссылках. Все внешние ссылки, текст, которым они ссылаются – все это может влиять на расчет того порога в «Sandbox». Учитывается как количество ссылок, динамика их появления, так и то, с каких сайтов эти ссылки стоят, с какими именно ключевыми словами. Появление за короткий промежуток времени большого количества внешних ссылок – это плохо. Ссылки с плохих сайтов – это не плюс. Ссылки с одинаковым текстом, участие в системах автоматического обмена и кольцах – это плохо. Естественные ссылки и ссылки с авторитетных сайтов – это хорошо.

Что же еще может участвовать в алгоритмах этого «Sandbox». Как для меня, так это абсолютно очевидно – это запрос, который вы вводите в поисковой системе. Именно от запроса будет, в большей мере, зависеть то, будет ли ваш сайт участвовать в основной группе сайтов или попадет под воздействие ограничительного алгоритма Sandbox.

Давайте разберемся, какими же свойствами вообще обладает поисковый запрос. Каждый запрос имеет частоту его поиска в системе. Есть запросы с большой популярностью, у них эта характеристика больше. А есть и запросы с маленькой частотой набора. Когда происходит выборка в индексе по каким-то словосочетаниям, то появляется определенное количество всех релевантных документов. Появляется количество всех ссылок в сети с этими ключами, и Google известны все их числовые характеристики.

Также, зная запрос, можно узнать, покупают ли рекламодатели объявления в Google Adwords или нет, какая там общая конкуренция. Имея такую статистику по частоте, конкуренции, суммам, которые тратятся, Google может произвести группировку сайтов по принципу: коммерческий или нет. И в зависимости от этого настроить автоматически коэффициенты, участвующие в расчетах алгоритма «Sandbox».

Представители Google как-то сообщали о том, что более популярным запросам уделяется больше внимания, чем непопулярным в плане контроля качества. Естественно, что все это делается автоматически, то есть на анализ популярных тематик тратится больше процессорного времени всех серверов. По очень популярным, коммерчески привлекательным, запросам мы почти не будем замечать плохих сайтов или дорвеев, тогда как по запрещенным в Adwords тематикам или просто редко набираемым запросам мы можем увидеть до 90% дорвеев на первой странице. Все это связанно с тем, что более сложные алгоритмы вступают в работу только при определенных частотах, и нет смысла тратить дополнительные ресурсы на пересчет всех параметров. Там, где это неоправданно, некоторые алгоритмы не работают. Ведь качество поиска определяется чем? Да просто, доволен ли пользователь тем, что ему предлагается по запросу или нет. Если он искал что-то, нашел и остался довольным, то поиск качественный.

Также во всей этой системе участвует и сам пользователь. То, из какой страны он подает запрос, каким региональным Google пользуется, может сказаться на результатах ранжирования. Но это влияние, в частности, будет зависеть от тех же частотных характеристик поискового запроса, только в контексте сложившихся региональных особенностей.