Как использовать PyCharm для отладки проектов Scrapy

Команда scrapy - это сценарий Python, что означает, что вы можете запустить ее из PyCharm.

Когда вы изучите двоичный файл scrapy (which scrapy), вы заметите, что это на самом деле скрипт Python:

#!/usr/bin/python

from scrapy.cmdline import execute
execute()

Это означает, что такую ​​команду, как scrapy crawl IcecatCrawler, также можно выполнить следующим образом: python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler

Попробуйте найти пакет scrapy.cmdline. В моем случае местоположение было здесь: /Library/Python/2.7/site-packages/scrapy/cmdline.py

Создайте конфигурацию запуска / отладки внутри PyCharm с этим сценарием в качестве сценария. Заполните параметры скрипта командой scrapy и пауком. В данном случае crawl IcecatCrawler.

Примерно так:

Поместите точки останова в любом месте вашего кода сканирования, и он должен работать ™.

Вам просто нужно это сделать.

Создайте файл Python в папке поискового робота вашего проекта. Я использовал main.py.

• Project
  • Crawler
    • Crawler
      • Spiders
      • ...
    • main.py
    • scrapy.cfg

Внутри вашего main.py поместите этот код ниже.

from scrapy import cmdline    
cmdline.execute("scrapy crawl spider".split())

И вам нужно создать «Конфигурацию запуска» для запуска main.py.

При этом, если вы поместите точку останова в свой код, он остановится на этом.

В 2018.1 это стало намного проще. Теперь вы можете выбрать Module name в Run/Debug Configuration вашего проекта. Установите значение scrapy.cmdline, а Working directory - корневой каталог проекта scrapy (тот, в котором есть settings.py).

Вот так:

Теперь вы можете добавлять точки останова для отладки кода.

Я запускаю scrapy в virtualenv с Python 3.5.0, и установка параметра «script» на /path_to_project_env/env/bin/scrapy решила проблему для меня.

intellij idea тоже работают.

создать main.py:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#coding=utf-8
import sys
from scrapy import cmdline
def main(name):
    if name:
        cmdline.execute(name.split())



if __name__ == '__main__':
    print('[*] beginning main thread')
    name = "scrapy crawl stack"
    #name = "scrapy crawl spa"
    main(name)
    print('[*] main thread exited')
    print('main stop====================================================')

показать ниже:

Чтобы добавить немного к принятому ответу, почти через час я обнаружил, что мне нужно выбрать правильную конфигурацию запуска из раскрывающегося списка (рядом с центром панели значков), а затем нажать кнопку «Отладка», чтобы заставить ее работать. Надеюсь это поможет!

Согласно документации https://doc.scrapy.org/en/latest/topics/practices.html

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    # Your spider definition
    ...

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})

process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished

Я также использую PyCharm, но не использую его встроенные функции отладки.

Для отладки я использую ipdb. Я установил сочетание клавиш, чтобы вставить import ipdb; ipdb.set_trace() в любую строку, в которой я хочу, чтобы сработала точка останова.

Затем я могу набрать n, чтобы выполнить следующий оператор, s, чтобы войти в функцию, ввести любое имя объекта, чтобы увидеть его значение, изменить среду выполнения, набрать c, чтобы продолжить выполнение ...

Это очень гибко, работает в средах, отличных от PyCharm, где вы не контролируете среду выполнения.

Просто введите свою виртуальную среду pip install ipdb и поместите import ipdb; ipdb.set_trace() в строку, где вы хотите, чтобы выполнение было приостановлено.

ОБНОВИТЬ

Вы также можете pip install pdbpp и использовать стандартный import pdb; pdb.set_trace вместо ipdb. На мой взгляд, PDB ++ лучше.

Я использую этот простой скрипт:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings())

process.crawl('your_spider_name')
process.start()

Расширяя версию ответа @ Rodrigo, я добавил этот сценарий, и теперь я могу установить имя паука из конфигурации вместо изменения строки.

import sys
from scrapy import cmdline

cmdline.execute(f"scrapy crawl {sys.argv[1]}".split())