Thema: Cached cloudflare-scrape daten?

Hallo,

hat jemand von euch bereits mit dem Python "Plugin" cloudflare-scrape gearbeitet?

Ich habe eine .py die den Content einer Seite holt die ich via .py -l ... übergebe.
Ausgeführt wird die py über exec (PHP) (python C:/get_data.py -l https://ddl...)

Scheinbar cached exec oder aber cloudflare-scrape die Rückgabe der Seite. Ich bekomme obwohl ich einen anderen Link übergebe immer die Daten vom ersten Link zurück.

Beispiel Rückgabe:

Code:

[info] Just sleeping for 7 Seconds
[info] requesting data for https://.../Eminem_-_Kamikaze/
Array
(
    [title] => Marteria & Casper - 1982
    [genre] => Hip-Hop/Rap
    [kategorie] => Alben
    [cover] => https://img2.oloimages.org/image/dligowcl/u9vhqrkd.jpg
    [links] => Array
        (
            [0] => http://www.share-online.biz/dl/xxxxxxxxx
        )

)

Jemand ne Idee

Mein Gefühl sagt mir, dass du einen falschen Link übergibst oder die falsche Rückgabe verarbeitest.

Aus dem Kopf heraus behaupte ich, dass kein (zusätzliches) Cacing durch die Lib vorgenommen wird. Kannst den Code ja selbst mal einsehen (ist ja nicht sehr umfangreich).

Hab ich auch gedacht ...

Code:

C:\Users\Kai>php C:\xampp\htdocs\music\queue.php
[info] requesting data for https://xxxx/Eminem_-_Kamikaze_iTunes/
string(62) "https://xxxx/Eminem_-_Kamikaze_iTunes/"

string(62) das was bei python ankommt

Die Seite von der du scrapest, hat gerade "Marteria & Casper - 1982" als "ALBUM DER WOCHE" im Header. Kann es sein, dass dein Script davon verwirrt ist, und zumindest den falschen Titel findet?

Geh sehr stark davon aus, dass es irgendwie damit zusammenhängt, da cloudflare-scrape an sich garnichts cachen kann.

Hm. Kurz hab ich gedacht daran könnte es liegen. Aber die Links, genre etc sind auch immer gleich. Außerdem wird der title aus dem seiten title gefischt und der ist auf der startseite anders...

Thanks @ fluffy für den scraper ... Leider hat der diesen Bug :/

Zeig uns doch mal deinen Code, sonst müssen wir hier weiter wahllos Unsinn unterstellen, den du eventuell gemacht haben könntest.

Also das plugin macht nix anderes wie im Browser, 5 Sekunden warten (die Zeit lässt sich im script ändern) und dann wird die Seite geöffnet... Hier mal ein Beispiel ohne cookies, requests, user-agent etc...

PHP-Code:

import cfscrape

scraper = cfscrape.create_scraper()
content = scraper.get("https://boerse.to").content
print content