На пхп делай проверку user_agent . у яндекса напр юзер агент Yandex, google - googlebot