Python Scrapy、どのように定義するパイプラインのためのアイテムです!

StackOverflow https://stackoverflow.com/questions/1056651

  •  20-08-2019
  •  | 
  •  

質問

を使用していscrapy耐震性の低い住宅では、倒壊の異なるサイト、各サイトにおいて項目別の情報を抽出し)

例えば、私は汎用のパイプラインの情報は同じですが、今私はクローの一部は、google検索の対応のパイプラインの必要なければならないと思います。

例えば:

GenericItem 用途 GenericPipeline

その GoogleItem 用途 GoogleItemPipeline, が、蜘蛛はクロールで使用しようとしてい GenericPipeline の代わりに GoogleItemPipeline....どのよう指定できるパイプラインのGoogleスパイダーなのですか?

役に立ちましたか?

解決

今が一つしかないチェック項目の型パイプラインを処理して返しに"あるがまま"

pipelines.py:

from grabbers.items import FeedItem

class StoreFeedPost(object):

    def process_item(self, domain, item):
        if isinstance(item, FeedItem):
            #process it...

        return item

items.py:

from scrapy.item import ScrapedItem

class FeedItem(ScrapedItem):
    pass
ライセンス: CC-BY-SA帰属
所属していません StackOverflow
scroll top