Raspe el sitio web de múltiples marcos

Question

Estoy auditando nuestra aplicación web existente, que hace un uso intensivo de marcos HTML.Me gustaría descargar todo el HTML en cada cuadro, ¿existe algún método para hacerlo con obtener ¿O un poco de guión?

Answer 1

como complemento a la respuesta de Steve:

Abarcar a cualquier host: '-H'

La opción '-H' activa la expansión de hosts, lo que permite que la ejecución recursiva de Wget visite cualquier host al que haga referencia un enlace.A menos que se apliquen suficientes criterios de limitación de recursividad, estos hosts externos normalmente se vincularán a aún más hosts, y así sucesivamente hasta que Wget termine absorbiendo muchos más datos de los previstos.

Limitar la extensión a ciertos dominios: '-D'

La opción '-D' le permite especificar los dominios que se seguirán, limitando así la recursividad solo a los hosts que pertenecen a estos dominios.Obviamente, esto sólo tiene sentido en combinación con "-H".

Un ejemplo típico sería descargar el contenido de “www.server.com”, pero permitir descargas desde “images.server.com”, etc.:

      wget -rH -Dserver.com http://www.server.com/

Puede especificar más de una dirección separándolas con una coma,

p.ej.'-Ddominio1.com,dominio2.com'.

tomado de: manual de wget

Answer 2

wget --recursive --domains=www.mysite.com http://www.mysite.com

Lo que indica que un rastreo recursivo también debe atravesar marcos e iframes.Tenga cuidado de limitar el alcance de la recursividad sólo a su sitio web, ya que probablemente no desee rastrear toda la web.

Answer 3

wget tiene una opción -r para hacerlo recursivo, prueba wget-r-l1 (en caso de que la fuente dificulte la lectura:Esa última parte es una minúscula L seguida de un número uno) la parte -l1 le dice que se repite a una profundidad máxima de 1.Intenta jugar con este número para raspar más.