Парсер
Формат экспорта в Scrapy
Вот как вы можете форматировать экспорт элементов в Scrapy.
Для всех этих вариантов убедитесь, что ваш паук действительно возвращает некоторые результаты в методе parse
.
Использование известного расширения имени файла
Используйте одно из известных расширений файлов, которые вы указываете в параметре -O
команды crawl
.
Использование параметра -t
Укажите формат в параметре -t
команды crawl
.
Использование свойства FEEDS в скрапере
Укажите значение для свойства FEEDS
в вашем скрапере.
Более подробная информация
Можно найти в официальной документации.
class MySpider(scrapy.Spider):
name = "myspider"
custom_settings = {
'FEEDS': {
'export.jsonlines': { # файл URI (имя)
'format': 'jsonlines', # json/jsonlines/csv/xml/marshal/pickle
}
}
}
Опубликовано на http://isbyr.com_ 21 апреля 2022 года._