Eine einfache Spinne Frage

Question

Ich bin ein Neuling unter Verwendung Scrapy ohne Glück so weit diese einfache Aufgabe zu achive versuchen. Ich bitte Ihre Ratschläge, wie dies mit Scrapy zu tun oder mit jedem anderen Werkzeug (mit Python). Danke.

Ich will

1. von einer Seite starten, das BIOS von Anwälten, der Nachname Listen beginnen mit A: initial_url = www.example.com/Attorneys/List.aspx?LastName=A

2. Von Namen VZ = A Links zu aktuellen BIOS zu extrahieren: / BioLinks /

3. besucht jedes der / BioLinks / die Schule Informationen für jeden Anwalt zu extrahieren.

Ich bin in der Lage, die / BioLinks / und Schule Informationen zu extrahieren, aber ich bin nicht in der Lage von der anfänglichen URL zu den Bio-Seiten zu gehen.

Wenn Sie denken, dies ist der falsche Weg, um dies zu, dann, wie würden Sie dieses Ziel erreichen?

Vielen Dank.

Answer 1

Nicht sicher, ob ich voll und ganz verstehen, was Sie fragen, aber vielleicht müssen Sie jedes Bio die absolute URL erhalten und den Quellcode für die Seite abzurufen:

import urllib2
bio_page = urllib.urlopen(bio_url).read()

Dann wird eine reguläre Ausdrücke oder andere Parsing verwenden der Anwalt der juristischen Fakultät zu erhalten.