Я использую scrapy для проекта, в котором я хочу очистить несколько сайтов (возможно, сотни), и мне нужно написать конкретного паука для каждого сайта. Я могу запланировать одного паука в проекте, развернутом в scrapyd, используя: curl...

Я сделал небольшой проект, используя Scrapy. Дело в том, что мой скрапер сканирует страницы и парсит данные. Но он не сохраняется в моей базе данных. Я использую MySQL в качестве моей базы данных. Я предполагаю, что есть что-то, что я упускаю в...

Я пытаюсь настроить пауков, созданных с помощью slyd, для использования scrapy-elasticsearch , поэтому я отправляю -d parameter=value для его настройки: curl http://localhost:6800/schedule.json -d project=myproject -d spider=myspider -d...