¿Cómo se llama una técnica de araña donde la araña visita todos los enlaces en el primer nivel, y todos los enlaces en el segundo nivel

Question

Olvidé el nombre de un caso donde una araña web lo hará

primero visita todos los enlaces que ve en el primer nivel. luego visita todos los enlaces que ve en el segundo nivel. y así sucesivamente ...

hay un nombre para esta técnica ... lo olvidé ...

de todos modos, esto es muy exhaustivo y obviamente ineficiente. ¿Hay una mejor manera?

Recuerdo haber leído un artículo en verano sobre el rastreo eficiente de páginas web (DSL o algo así, no sé qué significa) ... en resumen, discutió el método para " Determinar qué URL es probable que contengan información relevante y qué URL se deben ignorar como registro, enlace de nueva cuenta, etc. "

no lo leí con demasiado detalle, si alguna de estas cosas suena, por favor publique un enlace.

Answer 1

Suena como 'primera búsqueda de amplitud', en oposición a 'primera búsqueda de profundidad'. En el primero, examina todas sus opciones lateralmente, por así decirlo, mientras que en el último primero perfora lo más profundo que puede en cada camino. Esa es la terminología de IA, no estoy seguro si está de moda con los diseñadores de herramientas web. De todos modos, BFS consume mucha memoria, pero generalmente se emplea cuando desea encontrar un 'resultado óptimo', algo (en sus términos) en el nivel más bajo posible, mientras que DFS tiende a usar mucha menos memoria pero puede perder mejores soluciones.

Si solo está tratando de catalogar todos los enlaces, use DFS. Si está tratando de encontrar algo en la profundidad de enlace más superficial, use BFS.

Answer 2

Búsqueda de amplitud primero.

En la teoría de gráficos, la búsqueda de amplitud (BFS) es una estrategia para buscar en un gráfico cuando la búsqueda se limita esencialmente a dos operaciones: (a) visitar e inspeccionar un nodo de un gráfico; (b) obtenga acceso para visitar los nodos vecinos al nodo visitado actualmente. El BFS comienza en un nodo raíz e inspecciona todos los nodos vecinos. Luego, para cada uno de esos nodos vecinos, a su vez, inspecciona sus nodos vecinos que no se visitaron, y así sucesivamente. Compárelo con la búsqueda de profundidad primero.

http://en.wikipedia.org/wiki/Breadth-first_search