Python Scrapy、どのように定義するパイプラインのためのアイテムです!
-
20-08-2019 - |
質問
を使用していscrapy耐震性の低い住宅では、倒壊の異なるサイト、各サイトにおいて項目別の情報を抽出し)
例えば、私は汎用のパイプラインの情報は同じですが、今私はクローの一部は、google検索の対応のパイプラインの必要なければならないと思います。
例えば:
GenericItem
用途 GenericPipeline
その GoogleItem
用途 GoogleItemPipeline
, が、蜘蛛はクロールで使用しようとしてい GenericPipeline
の代わりに GoogleItemPipeline
....どのよう指定できるパイプラインのGoogleスパイダーなのですか?
解決
今が一つしかないチェック項目の型パイプラインを処理して返しに"あるがまま"
pipelines.py:
from grabbers.items import FeedItem
class StoreFeedPost(object):
def process_item(self, domain, item):
if isinstance(item, FeedItem):
#process it...
return item
items.py:
from scrapy.item import ScrapedItem
class FeedItem(ScrapedItem):
pass
所属していません StackOverflow