Ergebnis 1 bis 7 von 7

Thema: Cached cloudflare-scrape daten?

  1. #1
    VIP Team
    Registriert
    May 2015
    Beiträge
    1,018
    Gefällt mir!
    862
    Du gefällst: 374

    Cached cloudflare-scrape daten?

    Hallo,

    hat jemand von euch bereits mit dem Python "Plugin" cloudflare-scrape gearbeitet?

    Ich habe eine .py die den Content einer Seite holt die ich via .py -l ... übergebe.
    Ausgeführt wird die py über exec (PHP) (python C:/get_data.py -l https://ddl...)

    Scheinbar cached exec oder aber cloudflare-scrape die Rückgabe der Seite. Ich bekomme obwohl ich einen anderen Link übergebe immer die Daten vom ersten Link zurück.

    Beispiel Rückgabe:

    Code:
    [info] Just sleeping for 7 Seconds
    [info] requesting data for https://.../Eminem_-_Kamikaze/
    Array
    (
        [title] => Marteria & Casper - 1982
        [genre] => Hip-Hop/Rap
        [kategorie] => Alben
        [cover] => https://img2.oloimages.org/image/dligowcl/u9vhqrkd.jpg
        [links] => Array
            (
                [0] => http://www.share-online.biz/dl/xxxxxxxxx
            )
    
    )
    Jemand ne Idee

  2. Werbung - Hier werben?
  3. #2
    Senior Avatar von Nimbus
    Registriert
    Oct 2015
    Beiträge
    561
    Gefällt mir!
    96
    Du gefällst: 573
    Mein Gefühl sagt mir, dass du einen falschen Link übergibst oder die falsche Rückgabe verarbeitest.

    Aus dem Kopf heraus behaupte ich, dass kein (zusätzliches) Cacing durch die Lib vorgenommen wird. Kannst den Code ja selbst mal einsehen (ist ja nicht sehr umfangreich).

  4. #3
    VIP Team
    THEMENSTARTER


    Registriert
    May 2015
    Beiträge
    1,018
    Gefällt mir!
    862
    Du gefällst: 374
    Hab ich auch gedacht ...

    Code:
    C:\Users\Kai>php C:\xampp\htdocs\music\queue.php
    [info] requesting data for https://xxxx/Eminem_-_Kamikaze_iTunes/
    string(62) "https://xxxx/Eminem_-_Kamikaze_iTunes/"
    string(62) das was bei python ankommt

  5. #4
    Anfänger Avatar von johnblacks
    Registriert
    Apr 2018
    Beiträge
    17
    Gefällt mir!
    24
    Du gefällst: 11
    Die Seite von der du scrapest, hat gerade "Marteria & Casper - 1982" als "ALBUM DER WOCHE" im Header. Kann es sein, dass dein Script davon verwirrt ist, und zumindest den falschen Titel findet?

    Geh sehr stark davon aus, dass es irgendwie damit zusammenhängt, da cloudflare-scrape an sich garnichts cachen kann.

  6. #5
    VIP Team
    THEMENSTARTER


    Registriert
    May 2015
    Beiträge
    1,018
    Gefällt mir!
    862
    Du gefällst: 374
    Hm. Kurz hab ich gedacht daran könnte es liegen. Aber die Links, genre etc sind auch immer gleich. Außerdem wird der title aus dem seiten title gefischt und der ist auf der startseite anders...

    Thanks @ fluffy für den scraper ... Leider hat der diesen Bug :/

  7. #6
    Senior Avatar von Nimbus
    Registriert
    Oct 2015
    Beiträge
    561
    Gefällt mir!
    96
    Du gefällst: 573
    Zeig uns doch mal deinen Code, sonst müssen wir hier weiter wahllos Unsinn unterstellen, den du eventuell gemacht haben könntest.

  8. Diesen Mitgliedern gefällt dieser Beitrag:


  9. #7
    Junior Avatar von pythonfreak
    Registriert
    Apr 2017
    Beiträge
    112
    Gefällt mir!
    50
    Du gefällst: 61
    Also das plugin macht nix anderes wie im Browser, 5 Sekunden warten (die Zeit lässt sich im script ändern) und dann wird die Seite geöffnet... Hier mal ein Beispiel ohne cookies, requests, user-agent etc...
    PHP-Code:
    import cfscrape

    scraper 
    cfscrape.create_scraper()
    content scraper.get("https://boerse.to").content
    print content 

Ähnliche Themen

  1. Cloudflare a DMCA
    Von murat im Forum Daily Talk & Offtopic
    Antworten: 4
    Letzter Beitrag: 26.09.2020, 10:57
  2. Veesp VPS und Cloudflare?
    Von Mindshift im Forum Webmaster Daily Talk & OffTopic
    Antworten: 2
    Letzter Beitrag: 23.11.2018, 10:18
  3. vidzi.tv - Cloudflare
    Von RedDevil im Forum Hoster (OCH, Stream, ...)
    Antworten: 3
    Letzter Beitrag: 05.02.2018, 18:11
  4. Cloudflare
    Von Mono im Forum Webmaster Daily Talk & OffTopic
    Antworten: 6
    Letzter Beitrag: 24.04.2017, 09:00
  5. Frage zu Cloudflare
    Von schneewittchen im Forum Webmaster Daily Talk & OffTopic
    Antworten: 2
    Letzter Beitrag: 18.11.2015, 11:05

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  
SzeneBox.org... im Mittelpunkt der Szene!
© since 2015 szeneBOX.org - All Rights Reserved
Domains: www.szenebox.org