Próbuję zainstalować scrapy:
pip install Scrapy
Proces instalacji nie przebiega poprawnie, więc się nie instaluje.
Nie poddaje się i instaluje miniconde3, a potem instalacja:
conda install -c scrapinghub scrapy
Wszystko cacy, tworzę projekt
$ scrapy startproject scrapy_pl
$ cd scrapy_pl
$ scrapy genspider basic quotes.toscrape.com
scrapy shell 'http://quotes.toscrape.com/page/1'
wszystko działa, ale jak uruchamiam projekt z pliku basic.py
import scrapy
class BasicSpider(scrapy.Spider):
name = 'basic'
allowed_domains = ['quotes.toscrape.com']
start_urls = ['http://quotes.toscrape.com/']
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').get(),
'author': quote.css('small.author::text').get(),
'tags': quote.css('a.tag::text').getall(),
}
next_page = response.css('li.next a::attr(href)').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
To dostaje:
ModuleNotFoundError: No module named 'scrapy'
Bawiłem się BeautifulSoup i działa jak ta lala, ale nie do końca. Wynik HTML odbiego od tego co jest w przeglądarce. Dla tego chcę się zmierzyć ze Scrapy.
Pozdrawiam
scrapy crawl basic?