¿Por qué y cómo utiliza el robot de google el motor de búsqueda de mi sitio web?

Question

Mirando a través de mis registros de búsqueda de vez en cuando, me doy cuenta de que, con mucho, el mayor usuario de mi motor de búsqueda es el robot de Google. ¿Lo que da? ¿Busca contenido al que no se pueda acceder directamente a través de la navegación? Si es así, ¿cómo sabe qué palabras y frases buscar (son sorprendentemente relevantes). ¿Comprueba las palabras clave más populares en el sitio? Sé que parece que estoy respondiendo mi propia pregunta aquí, pero esto realmente solo funciona desde los primeros principios. Me gustaría saber de alguien que sepa de qué está hablando (es decir, no yo).

Answer 1

Google usará las palabras que aparecen en su sitio en los cuadros de búsqueda para tratar de encontrar páginas que de otro modo no podría encontrar.

  

Google dice que durante los últimos meses, ha estado completando formularios   en un " número pequeño " de "alta calidad" sitios web para volver   información. ¿Qué palabras ha estado entrando en esas formas? Palabras   seleccionado automáticamente que ocurre en el sitio, con casillas de verificación y   menús desplegables también están siendo seleccionados.    http://searchengineland.com/google-now-fills-out -forms-crawls-results-13760

Answer 2

Si el método de su formulario de búsqueda es obtener en lugar de publicar, cada búsqueda tiene su propia URL, y las personas podrían publicar esas URL en otro lugar. O si tiene una página webstats (posiblemente inadvertidamente) de acceso público que enumera esas URL, esa es otra forma común para que los motores de búsqueda tropiecen con sus URL de búsqueda internas. Una tercera forma que he visto es sitios que enumeran búsquedas recientes en sus páginas, pero esto es más intencional. "Blog de rendimiento de MySQL" lo hace de manera molesta, por lo que cualquier búsqueda en su sitio desde google produce cientos de páginas de búsquedas similares, incluso si ninguna de ellas encontró lo que estaban buscando.

Editar: Parece que lo hace ocasionalmente, pero solo obtiene formularios: http://googlewebmastercentral.blogspot.com/2008/04/ crawling-through-html-forms.html