Criando uma aranha usando scrapy, erro de geração de aranha
-
27-09-2019 - |
Pergunta
Acabei de baixar o SCRAPY (Web Crawler) no Windows 32 e acabei de criar uma nova pasta de projetos usando o comando "scrapy-ctl.py startproject dmoz" no DOS. Em seguida, comecei a criar a primeira aranha usando o comando:
scrapy-ctl.py genspider myspider myspdier-domain.com
Mas não funcionou e retorna o erro:
Error running: scrapy-ctl.py genspider, Cannot find project settings module in python path: scrapy_settings.
Eu sei que tenho o caminho certo (para Python26/scripts), mas estou tendo dificuldade em descobrir qual é o problema. Eu sou novo no Scrapy e no Python, então há uma boa possibilidade de ter falhado em fazer algo importante.
Além disso, tenho usado o Eclipse com o plug -in Pydev para editar o código, se isso puder causar alguns problemas.
Solução
Há uma diferença entre Path e Python_Path. O seu Python_Path está definido corretamente? Esse caminho é onde o Python parece incluir pacotes / módulos.
Outras dicas
Use o Scrapy-ctl.py no dir. Esse script saberá sobre as configurações desse projeto. O principal scrapy-ctl.py não tem idéia das configurações do projeto específico.
Defina a variável de ambiente PythonPath como Python26/scripts.