スクレイピースパイダーインデックスエラー
-
05-07-2019 - |
質問
これは、Scrapyフレームワーク内で記述しようとしているSpyder1のコードです。
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item
from firm.items import FirmItem
class Spider1(CrawlSpider):
domain_name = 'wc2'
start_urls = ['http://www.whitecase.com/Attorneys/List.aspx?LastName=A']
rules = (
Rule(SgmlLinkExtractor(allow=["hxs.select(
'//td[@class='altRow'][1]/a/@href').re('/.a\w+')"]),
callback='parse'),
)
def parse(self, response):
hxs = HtmlXPathSelector(response)
JD = FirmItem()
JD['school'] = hxs.select(
'//td[@class="mainColumnTDa"]').re('(?<=(JD,\s))(.*?)(\d+)'
)
return JD
SPIDER = Spider1()
rules
の正規表現は、開始URLから必要なすべてのバイオURLを正常にプルします:
>>> hxs.select(
... '//td[@class="altRow"][1]/a/@href').re('/.a\w+')
[u'/cabel', u'/jacevedo', u'/jacuna', u'/aadler', u'/zahmedani', u'/tairisto', u
'/zalbert', u'/salberts', u'/aaleksandrova', u'/malhadeff', u'/nalivojvodic', u'
/kallchurch', u'/jalleyne', u'/lalonzo', u'/malthoff', u'/valvarez', u'/camon',
u'/randerson', u'/eandreeva', u'/pangeli', u'/jangland', u'/mantczak', u'/darany
i', u'/carhold', u'/marora', u'/garrington', u'/jartzinger', u'/sasayama', u'/ma
sschenfeldt', u'/dattanasio', u'/watterbury', u'/jaudrlicka', u'/caverch', u'/fa
yanruoh', u'/razar']
>>>
ただし、取得したコードを実行すると
[wc2] ERROR: Error processing FirmItem(school=[]) -
[Failure instance: Traceback: <type 'exceptions.IndexError'>: list index out of range
これはItems.pyのFirmItemです
from scrapy.item import Item, Field
class FirmItem(Item):
school = Field()
pass
インデックスエラーが発生した場所を理解するのに役立ちますか?
私はこのスパイダーをScrapyで数週間機能させようと試みてきました。彼らは優れたチュートリアルを持っていますが、私はPythonとWebプログラミングに慣れていないので、たとえば SgmlLinkExtractor
が舞台裏でどのように機能するか理解できません。
Pythonライブラリを使用して、同じ単純な機能を備えたスパイダーを作成しようとする方が簡単でしょうか?コメントやヘルプをお願いします。
ありがとう
解決
SgmlLinkExtractorは、「許可」のセレクタをサポートしていません。引数。
これは間違っています:
SgmlLinkExtractor(allow=["hxs.select('//td[@class='altRow'] ...')"])
これは正しい:
SgmlLinkExtractor(allow=[r"product\.php"])
他のヒント
解析関数は、SgmlLinkExtractorの一致ごとに呼び出されます。
Pabloが述べたように、SgmlLinkExtractorを単純化したい。
また、最初のURLからスクレイピングされた名前をリストに入れてから、それぞれの名前を絶対URLの形式で http://www.whitecase.com/aabbas
として解析に渡そうとしました(/ aabbasの場合)。
次のコードはリストをループしますが、これをparseに渡す方法がわかりません。これはより良いアイデアだと思いますか?
baseurl = 'http://www.whitecase.com'
names = ['aabbas', '/cabel', '/jacevedo', '/jacuna', '/igbadegesin']
def makeurl(baseurl, names):
for x in names:
url = baseurl + x
baseurl = 'http://www.whitecase.com'
x = ''
return url
所属していません StackOverflow