Da dove iniziano la scansione i motori di ricerca?

Question

Cosa utilizzano i bot dei motori di ricerca come punto di partenza?Si tratta di una ricerca DNS o iniziano con un elenco fisso di siti noti?Qualche ipotesi o suggerimento?

Answer 1

La tua domanda può essere interpretata in due modi:

Ti stai chiedendo da dove i motori di ricerca iniziano la scansione in generale o da dove iniziano a scansionare un sito particolare?

Non so come lavorano i grandi player;ma se dovessi creare il tuo motore di ricerca probabilmente lo semineresti con i portali più popolari. DMOZ.org sembra essere un punto di partenza popolare.Dato che i grandi player hanno molti più dati di noi, probabilmente iniziano le loro ricerche da una varietà di luoghi.

Se ti stai chiedendo da dove un SE inizia a scansionare il tuo particolare sito, probabilmente ha molto a che fare con quali delle tue pagine sono le più popolari.Immagino che se hai una pagina super popolare a cui si collegano molti altri siti, quella sarebbe la pagina da cui inizierà SEs perché ci sono molti più punti di ingresso da altri siti.

Tieni presente che non mi occupo di SEO o altro;Ho appena studiato per un po' il traffico bot e SE per un progetto su cui stavo lavorando.

Answer 2

Puoi segnalare il tuo sito ai motori di ricerca utilizzando il loro moduli di invio al sito - questo ti farà entrare nel loro sistema.È impossibile dire quando effettivamente vieni scansionato dopo: per esperienza di solito è circa una settimana circa per una scansione iniziale (homepage, un paio di altre pagine con 1 collegamento in profondità da lì).Puoi aumentare il numero delle tue pagine che vengono scansionate e indicizzate utilizzando una struttura di collegamento semantica chiara e inviando un file Mappa del sito - ti consentono di elencare tutte le tue pagine e di ponderarle l'una rispetto all'altra, il che aiuta i motori di ricerca a capire quanto sia importante per te visualizzare ciascuna parte del sito rispetto alle altre.

Se il tuo sito è collegato da altri siti Web sottoposti a scansione, anche il tuo sito verrà sottoposto a scansione, iniziando dalla pagina collegata e infine diffondendosi al resto del tuo sito.Questa operazione può richiedere molto tempo e dipende dalla frequenza di scansione dei siti collegati, quindi l'invio dell'URL è il modo più rapido per far sapere a Google di te!

Uno strumento che non posso raccomandare abbastanza bene è il Strumento per i webmaster di Google.Ti consente di vedere quanto spesso sei stato scansionato, eventuali errori in cui si è imbattuto googlebot (link interrotti, ecc.) e contiene una serie di altri strumenti utili.

Answer 3

In linea di principio iniziano dal nulla.Solo quando qualcuno gli dice esplicitamente di includere il proprio sito web, possono iniziare a scansionare questo sito e utilizzare i collegamenti su quel sito per effettuare ulteriori ricerche.

Tuttavia, in pratica i creatori di un motore di ricerca inseriranno alcuni siti arbitrari a cui possono pensare.Ad esempio, i loro blog o i siti che hanno nei loro segnalibri.

In teoria si potrebbero anche scegliere alcuni indirizzi casuali e vedere se lì c'è un sito web.Dubito però che qualcuno lo faccia;il metodo sopra descritto funzionerà perfettamente e non richiede codifica aggiuntiva solo per avviare il motore di ricerca.