Scrapy Не удалось найти паука Ошибка

Я пытался запустить простого паука с помощью scrapy, но продолжаю получать ошибку:

Could not find spider for domain:stackexchange.com

когда я запускаю код с выражением scrapy-ctl.py crawl stackexchange.com. Паук выглядит следующим образом:

from scrapy.spider import BaseSpider
from __future__ import absolute_import


class StackExchangeSpider(BaseSpider):
    domain_name = "stackexchange.com"
    start_urls = [
        "http://www.stackexchange.com/",
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        open(filename, 'wb').write(response.body)

SPIDER = StackExchangeSpider()`

Другой человек опубликовал почти ту же проблему несколько месяцев назад, но не сказал, как они ее исправили, Scrapy spider - это не работает Я слежу за турториалом точно по адресу http://doc.scrapy.org/intro/tutorial.html и не могу понять, почему он не работает.

Когда я запускаю этот код в eclipse, я получаю сообщение об ошибке

Traceback (most recent call last): File "D:\Python Documents\dmoz\stackexchange\stackexchange\spiders\stackexchange_spider.py", line 1, in <module> from scrapy.spider import BaseSpider ImportError: No module named scrapy.spider

Я не могу понять, почему он не находит базовый модуль Spider. Нужно ли сохранять моего паука в каталоге скриптов?


person Kristin    schedule 22.05.2010    source источник
comment
У моего паука нет никаких правил, поэтому я не думаю, что это применимо. Хотя я мог ошибаться.   -  person Kristin    schedule 22.05.2010
comment
Вы получаете ту же ошибку при использовании DmozSpider, определенного в руководстве?   -  person unutbu    schedule 22.05.2010
comment
Я не пробовал с dmoz в качестве домена. все, что я действительно сделал, это изменил сайт, который он просматривает.   -  person Kristin    schedule 22.05.2010
comment
Где вы разместили указанный выше код? Я подозреваю, что его нет в каталоге project / spiders, и он не импортируется. Если бы это было так, вы бы получили сообщение об ошибке, в котором говорится, что строка from __future__ import absolute_import должна предшествовать другой строке импорта.   -  person unutbu    schedule 22.05.2010


Ответы (1)


попробуйте запустить python yourproject/spiders/domain.py, чтобы увидеть, нет ли синтаксических ошибок. Я не думаю, что вам следует включать абсолютный импорт, поскольку scrapy зависит от импорта родственников.

person R. Max    schedule 22.05.2010
comment
Он говорит, что не может найти модуль tbe scrapy.spider - person Kristin; 23.05.2010
comment
да, первая проблема говорит Could not find spider for domain:stackexchange.com, что является сообщением scrapy, поэтому модуль scrapy загружается правильно. И последняя проблема связана с eclipse и pythonpath. - person R. Max; 24.05.2010
comment
Проблема исправлена. Переустановил на другой комп. Должно быть, файлы были потеряны или он установлен неправильно. - person Kristin; 26.05.2010