Ошибка индекса Scrapy Spider
-
05-07-2019 - |
Вопрос
Это код для Spyder1, который я пытался написать в рамках Scrapy:
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item
from firm.items import FirmItem
class Spider1(CrawlSpider):
domain_name = 'wc2'
start_urls = ['http://www.whitecase.com/Attorneys/List.aspx?LastName=A']
rules = (
Rule(SgmlLinkExtractor(allow=["hxs.select(
'//td[@class='altRow'][1]/a/@href').re('/.a\w+')"]),
callback='parse'),
)
def parse(self, response):
hxs = HtmlXPathSelector(response)
JD = FirmItem()
JD['school'] = hxs.select(
'//td[@class="mainColumnTDa"]').re('(?<=(JD,\s))(.*?)(\d+)'
)
return JD
SPIDER = Spider1()
Регулярное выражение в rules
успешно извлекает все нужные мне биологические URL-адреса из начального URL-адреса:
>>> hxs.select(
... '//td[@class="altRow"][1]/a/@href').re('/.a\w+')
[u'/cabel', u'/jacevedo', u'/jacuna', u'/aadler', u'/zahmedani', u'/tairisto', u
'/zalbert', u'/salberts', u'/aaleksandrova', u'/malhadeff', u'/nalivojvodic', u'
/kallchurch', u'/jalleyne', u'/lalonzo', u'/malthoff', u'/valvarez', u'/camon',
u'/randerson', u'/eandreeva', u'/pangeli', u'/jangland', u'/mantczak', u'/darany
i', u'/carhold', u'/marora', u'/garrington', u'/jartzinger', u'/sasayama', u'/ma
sschenfeldt', u'/dattanasio', u'/watterbury', u'/jaudrlicka', u'/caverch', u'/fa
yanruoh', u'/razar']
>>>
Но когда я запускаю код, я получаю
[wc2] ERROR: Error processing FirmItem(school=[]) -
[Failure instance: Traceback: <type 'exceptions.IndexError'>: list index out of range
Это FirmItem в Items.py.
from scrapy.item import Item, Field
class FirmItem(Item):
school = Field()
pass
Можете ли вы помочь мне понять, где возникает ошибка индекса?
Мне кажется, это как-то связано с SgmLinkExtractor.
Я уже несколько недель пытаюсь заставить этого паука работать с помощью Scrapy.У них есть отличный учебник, но я новичок в Python и веб-программировании, поэтому не понимаю, например, как это сделать. SgmlLinkExtractor
работает за сценой.
Не проще ли мне было бы попытаться написать паука с таким же простым функционалом с помощью библиотек Python?Буду признателен за любые комментарии и помощь.
Спасибо
Решение
SgmlLinkExtractor не поддерживает селекторы в аргументе «разрешить».
Итак, это неправильно:
SgmlLinkExtractor(allow=["hxs.select('//td[@class='altRow'] ...')"])
Это правильно:
SgmlLinkExtractor(allow=[r"product\.php"])
Другие советы
Функция синтаксического анализа вызывается для каждого совпадения вашего SgmlLinkExtractor.
Как упомянул Пабло, вы хотите упростить SgmlLinkExtractor.
Я также попытался поместить имена, извлеченные из исходного URL-адреса, в список, а затем передать каждое имя для анализа в виде абсолютного URL-адреса как http://www.whitecase.com/aabbas
(для /aabbas).
Следующий код перебирает список, но я не знаю, как передать его в анализатор.Как вы думаете, это лучшая идея?
baseurl = 'http://www.whitecase.com'
names = ['aabbas', '/cabel', '/jacevedo', '/jacuna', '/igbadegesin']
def makeurl(baseurl, names):
for x in names:
url = baseurl + x
baseurl = 'http://www.whitecase.com'
x = ''
return url