- Nessa aula vamos criar um spider para coletar informações em uma página web.
- Para isso, precisamos executar os comandos que estão documentados abaixo.
scrapy -h
cd spiders
scrapy genspider bookspider books.toscrape.com
pip install ipython
No arquivo scrapy.cfg:
- shell =ipython
Executar comando scrapy shell
> fetch('<https://books.toscrape.com/>')
> response
> response.css('article.product_pod')
> response.css('article.product_pod').get()
> books = response.css('article.product_pod')
> len(books)
