Où les moteurs de recherche commencent-ils à explorer ?

Question

Qu’utilisent les robots des moteurs de recherche comme point de départ ?S'agit-il d'une recherche DNS ou commencent-ils par une liste fixe de sites bien connus ?Des suppositions ou des suggestions ?

Answer 1

Votre question peut être interprétée de deux manières :

Demandez-vous d'où les moteurs de recherche commencent leur exploration en général, ou où ils commencent à explorer un site particulier ?

Je ne sais pas comment fonctionnent les grands acteurs ;mais si vous deviez créer votre propre moteur de recherche, vous le feriez probablement avec des sites portails populaires. DMOZ.org semble être un point de départ populaire.Étant donné que les grands acteurs disposent de beaucoup plus de données que nous, ils commencent probablement leurs explorations à partir de divers endroits.

Si vous demandez où un SE commence à explorer votre site particulier, cela a probablement beaucoup à voir avec lesquelles de vos pages sont les plus populaires.J'imagine que si vous avez une page très populaire vers laquelle de nombreux autres sites renvoient, alors ce serait la page à partir de laquelle les SE démarrent, car il y a tellement plus de points d'entrée à partir d'autres sites.

Notez que je ne suis pas dans le référencement ou quoi que ce soit ;Je viens d'étudier le trafic des robots et SE pendant un certain temps pour un projet sur lequel je travaillais.

Answer 2

Vous pouvez soumettre votre site aux moteurs de recherche en utilisant leur formulaires de soumission de sites - cela vous amènera dans leur système.Il est impossible de dire quand vous êtes réellement exploré après cela - par expérience, il faut généralement environ une semaine environ pour une exploration initiale (page d'accueil, quelques autres pages à 1 lien profond à partir de là).Vous pouvez augmenter le nombre de vos pages explorées et indexées en utilisant une structure de liens sémantiques claire et en soumettant un plan du site - ceux-ci vous permettent de lister toutes vos pages et de les pondérer les unes par rapport aux autres, ce qui aide les moteurs de recherche à comprendre l'importance que vous accordez à chaque partie du site par rapport aux autres.

Si votre site est lié à d'autres sites Web explorés, votre site sera également exploré, en commençant par la page liée, puis en s'étendant au reste de votre site.Cela peut prendre beaucoup de temps et dépend de la fréquence d'exploration des sites de liaison. La soumission de l'URL est donc le moyen le plus rapide de faire connaître votre identité à Google !

Un outil que je ne saurais trop recommander est le Outil Google pour les webmasters.Il vous permet de voir à quelle fréquence vous avez été exploré, les erreurs sur lesquelles le googlebot est tombé (liens brisés, etc.) et contient une foule d'autres outils utiles.

Answer 3

En principe, ils partent de rien.Ce n'est que lorsque quelqu'un leur demande explicitement d'inclure leur site Web qu'ils peuvent commencer à explorer ce site et utiliser les liens sur ce site pour effectuer des recherches supplémentaires.

Cependant, dans la pratique, le(s) créateur(s) d'un moteur de recherche inscriront des sites arbitraires auxquels ils peuvent penser.Par exemple, leurs propres blogs ou les sites qu’ils ont dans leurs favoris.

En théorie, on pourrait aussi simplement choisir quelques adresses aléatoires et voir s'il existe un site Web là-bas.Je doute que quiconque fasse cela ;la méthode ci-dessus fonctionnera très bien et ne nécessite pas de codage supplémentaire juste pour démarrer le moteur de recherche.