wie nennt man eine Spidern Technik, bei der Spinne Besuche alle Verbindungen in der ersten Ebene, und alle Links in der zweiten Ebene

Question

Ich habe vergessen, den Namen zu einem Fall, in dem ein Web-Spider wird

ersten Besuche alle Links auf der ersten Ebene sieht. dann besucht alle Links auf der zweiten Ebene sieht. und so weiter ...

es einen Namen für diese Technik ist .... ich vergessen ...

Wie auch immer, dies ist sehr erschöpfend und offensichtlich ineffizient. Gibt es einen besseren Weg?

Ich erinnere mich an ein Papier im Sommer Lesen über effizient kriechen Web-Seiten (DSL oder so etwas, ich weiß nicht, was das für steht) .... zusammenfassend es Verfahren diskutiert für „Bestimmen Sie, welche URLs sind wahrscheinlich relevante Informationen zu halten und welche URLs sind wie Register, neues Konto link..etc "ignoriert werden

ich habe nicht in allzu sehr ins Detail lesen, wenn eine dieser Sachen eine Glocke läutet bitte einen Link.

Answer 1

Klingt wie ‚Breitensuche‘, im Gegensatz zu ‚Tiefensuche‘. In der ersten, die Sie alle Optionen seitlich untersuchen, so zu sprechen, während in der zweiten Sie so tief wie Sie auf jedem Weg zuerst kann bohren. Die AI-Terminologie nicht sicher, ob es in der Mode mit Web-Tool-Designern. Wie auch immer, verbraucht BFS viel Speicher, ist aber in der Regel eingesetzt, wenn Sie ein ‚optimales Ergebnis‘ finden wollen, etwas (in der Hinsicht) an der flachsten Ebene möglich, während DFS viel weniger Speicher verwenden neigt, kann aber bessere Lösungen verpassen.

Wenn Sie nur versuchen, alle Links zu katalogisieren, verwenden DFS. Wenn Sie versuchen, etwas an der flachsten Link Tiefe zu finden, verwenden Sie BFS.

Answer 2

Breitensuche.

In der Graphentheorie, Breitensuche (BFS) ist eine Strategie in einem Diagramm für die Suche, wenn Suche beschränkt sich auf im Wesentlichen zwei Operationen: (a) Besuch und inspiziert einen Knoten eines Graphen; (B) den Zugang zu gewinnen, die die Knoten zu besuchen, die Nachbarn der aktuell besuchten Knoten. Der BFS beginnt an einem Stammknoten und prüft alle benachbarten Knoten. Dann gilt für jede dieser Nachbarknoten wiederum prüft sie ihre Nachbarknoten, die nicht besuchte waren, und so weiter. Vergleichen Sie es mit der Tiefensuche.

http://en.wikipedia.org/wiki/Breadth-first_search