Scrapy domain_name für Spinne
Frage
Aus dem Scrapy Tutorial:
domain_name: identifiziert die Spinne. Es muss eindeutig sein, das heißt, Sie können nicht den gleichen Domain-Namen für verschiedene Spiders gesetzt.
Ist dies, dass domain_name
bedeuten muss einen gültigen Domain-Namen sein, wie
domain_name = 'example.com'
Oder kann ich nennen
domain_name = 'ex1'
Das Problem ist, ich eine Spinne hatte, die mit Domain-Namen gearbeitet
domain_name = 'whitecase.com'
Jetzt habe ich eine neue Spinne als Instanz von CrawlSpider und nannte es
domain_name = 'wc2'
, aber ich bin immer der Fehler "could not find spider for domain "wc2""
Lösung
Um meine eigene Frage zu beantworten:
domain_name = 'wc2'
funktioniert.
Andere Tipps
Wie Sie selbst herausgefunden haben, domain_name
sollte nicht real sein. Es wird verwendet, wenn die Spinne Aufruf zu kriechen.