Schau dir mal das an, damit solltest du normal die Seite scrappen können,
https://docs.scrapy.org/en/latest/intro/tutorial.html
Das ist direkt Python und vielleicht brauchst du da kein javascript.
Kurzbeispiel aus dem TUT:
gruß HotteCode:import scrapy class QuotesSpider(scrapy.Spider): name = "quotes" start_urls = [ 'http://quotes.toscrape.com/page/1/', ] def parse(self, response): for quote in response.css('div.quote'): yield { 'text': quote.css('span.text::text').get(), 'author': quote.css('span small::text').get(), 'tags': quote.css('div.tags a.tag::text').getall(), } next_page = response.css('li.next a::attr(href)').get() if next_page is not None: yield response.follow(next_page, callback=self.parse)




Zitieren