Почему и как робот Google использует поисковую систему моего сайта?

Question

Время от времени просматривая журналы поиска, я замечаю, что крупнейшим пользователем моей поисковой системы на сегодняшний день является бот-робот Google. Что дает? Он ищет контент, который может быть недоступен напрямую через навигацию? Если так, как он узнает, какие слова и фразы искать (они удивительно актуальны). Проверяет ли он самые популярные ключевые слова на сайте? Я знаю, что я, кажется, отвечаю на свой вопрос здесь, но на самом деле это работает только из первых принципов. Я хотел бы услышать от кого-то, кто знает, о чем они говорят (то есть не я).

Answer 1

Google будет использовать слова, которые встречаются на вашем сайте, в окнах поиска, чтобы попытаться найти страницы, которые он не может иначе

  

Google говорит, что в течение последних нескольких месяцев он заполнял формы   на «малом числе» из "высокого качества" веб-сайты, чтобы вернуться   Информация. Какие слова он входит в эти формы? слова   автоматически выбираются, которые встречаются на сайте, с флажками и   выпадающие меню также выбираются.    http://searchengineland.com/google-now-fills-out -формы-ползет-результаты-13760

Answer 2

Если в вашей форме поиска используется метод get вместо post, у каждого поиска есть свой URL, и люди могут публиковать эти URL в другом месте. Или, если у вас есть (возможно, непреднамеренно) общедоступная страница веб-статистики, в которой перечислены эти URL-адреса, это еще один распространенный способ для поисковых систем наткнуться на ваши внутренние поисковые URL-адреса. Третий способ, которым я видел, - это сайты, которые отображают недавние поиски на своих страницах, но это более намеренно. " Блог производительности MySQL " делает это досадно, поэтому любой поиск по их сайту в Google дает сотни страниц похожих запросов, даже если ни один из них не нашел того, что искал.

Редактировать: выглядит так, как есть, но только GET формы: http://googlewebmastercentral.blogspot.com/2008/04/ ползать-через-HTML-forms.html