Scrapy - следуйте ссылкам RSS
-
05-10-2019 - |
Вопрос
Мне было интересно, если кто-то когда-либо пытался извлечь / следовать ссылкам RSS-элемента с помощью SGMLLINKEXTRACTOR / CRANTSSPIDER. Я не могу получить это на работу ...
Я использую следующее правило:
правила = (правило (sgmllinkextractor (теги = ('link',), attrs = false), следуйте = true, callback = 'parse_article'),),)
(имея в виду, что ссылки RSS расположены в связь ярлык).
Я не уверен, как сказать sgmllinkextractor, чтобы извлечь текст () ссылки и не искать атрибуты ...
Любая помощь приветствуется, заранее спасибо
Решение
Правила Craillspider не работают таким образом. Вам, вероятно, понадобится подкласс BASESSIDER и реализовать собственную добычу ссылок в вашем обратном вызове паука. Например:
from scrapy.spider import BaseSpider
from scrapy.http import Request
from scrapy.selector import XmlXPathSelector
class MySpider(BaseSpider):
name = 'myspider'
def parse(self, response):
xxs = XmlXPathSelector(response)
links = xxs.select("//link/text()").extract()
return [Request(x, callback=self.parse_link) for x in links]
Вы также можете попробовать XPath в оболочке, запустив, например:
scrapy shell http://blog.scrapy.org/rss.xml
А затем печатать в оболочке:
>>> xxs.select("//link/text()").extract()
[u'http://blog.scrapy.org',
u'http://blog.scrapy.org/new-bugfix-release-0101',
u'http://blog.scrapy.org/new-scrapy-blog-and-scrapy-010-release']
Другие советы
Там есть XMLFeedSpider
можно использовать в наши дни.
Я сделал это, используя crawlspider:
class MySpider(CrawlSpider):
domain_name = "xml.example.com"
def parse(self, response):
xxs = XmlXPathSelector(response)
items = xxs.select('//channel/item')
for i in items:
urli = i.select('link/text()').extract()
request = Request(url=urli[0], callback=self.parse1)
yield request
def parse1(self, response):
hxs = HtmlXPathSelector(response)
# ...
yield(MyItem())
Но я не уверен, что это очень правильное решение ...
XML пример от SCRAPY DOC Xmlfeedspider
from scrapy.spiders import XMLFeedSpider
from myproject.items import TestItem
class MySpider(XMLFeedSpider):
name = 'example.com'
allowed_domains = ['example.com']
start_urls = ['http://www.example.com/feed.xml']
iterator = 'iternodes' # This is actually unnecessary, since it's the default value
itertag = 'item'
def parse_node(self, response, node):
self.logger.info('Hi, this is a <%s> node!: %s', self.itertag, ''.join(node.extract()))
#item = TestItem()
item = {} # change to dict for removing the class not found error
item['id'] = node.xpath('@id').extract()
item['name'] = node.xpath('name').extract()
item['description'] = node.xpath('description').extract()
return item