Ergebnis 1 bis 3 von 3

Thema: Crawler IMDB-ID by Release-Name / Dirname xrel.to srrdb.com

  1. #1
    Avatar von Syrius
    Registriert
    Mar 2015
    Beiträge
    2,139
    Gefällt mir!
    1,171
    Du gefällst: 2,746

    Crawler IMDB-ID by Release-Name / Dirname xrel.to srrdb.com

    Huhu,

    hab heute meine beiden Funktionen zum Abgreifen der IMDB-ID von srrdb und xrel überarbeitet. Wer sich auskennt, erkennt, dass ich in jeder Funktion mehrere Möglichkeiten zum Abgreifen der IMDB-ID ausprogrammiert habe. Im Test von 1000 Releases, konnten 951 Stk. abgegriffen werden. Die 49 Stück waren weder auf XREL noch SRRDB gelistet oder es gab dafür keine IMDB-ID was mit imdb.com abgeglichen wurde und demnach korrekt ist.


    Code:
    agent="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30"
    proxy=""
    
    getimdb_srrdb() {
        release="${1}"
        if [ -z "${imdb_id}" ]; then
            echo -e ":: Check srrdb.com"
            echo -e ":: #1"
            imdb_id_temp=`curl -sS ${proxy} -A "${agent}" -L "https://www.srrdb.com/api/imdb/${release}" | python -mjson.tool | egrep -i '"imdb":' | grep -m1 -oE "[0-9]{1,15}"`
            if [ -n "${imdb_id_temp}" ]; then
                imdb_id="tt${imdb_id_temp}"
            fi
            
            if [ -z "${imdb_id}" ]; then
                echo -e ":: #2"
                nfo_filename_temp=`curl -sS ${proxy} -A "${agent}" -L "https://www.srrdb.com/api/nfo/${release}" | python -mjson.tool | egrep '"http' | cut -d\" -f2`
                if [ -n "${nfo_filename_temp}" ]; then
                    imdb_id=`curl -sS ${proxy} -A "${agent}" -L "${nfo_filename_temp}" | grep -m1 -oE "tt[0-9]{1,15}"`
                fi
                
                if [ -z "${imdb_id}" ]; then
                    echo -e ":: #3"
                    nfo_filename_temp=`curl -sS ${proxy} -A "${agent}" -L "https://www.srrdb.com/release/details/${release}" | grep "storedFile" |  grep "icon-nfo" | sed 's/href="/\n/g' | grep "download" | cut -d\" -f1`
                    if [ -n "${nfo_filename_temp}" ]; then
                        curl -sS ${proxy} -A "${agent}" -L "https://www.srrdb.com${nfo_filename_temp}" > file.nfo
                        imdb_id=`tr '[\000-\011\013-\037\177-\377]' '.' < file.nfo | grep -m1 -oE "tt[0-9]{1,15}" | head -n1`
                    fi
                fi
            fi
        fi
    }
    
    
    getimdb_xrel() {
        release="${1}"
        if [ -z "${imdb_id}" ]; then
            echo -e ":: Check xrel.to"
            echo -e ":: #1"
            xrel_temp=`curl -sS ${proxy} -A "${agent}" -L "https://api.xrel.to/v2/search/releases.json?scene=true&p2p=true&q=${release}"`
            
            if [ -n "${xrel_temp}" ]; then
                echo "${xrel_temp}" > ${myhome}/asset/releases_json/${release}.json
                
                imdb_id=`cat "${myhome}/asset/releases_json/${release}.json" | grep -m1 -oE "tt[0-9]{7,15}"`
                
                if [ -z "${imdb_id}" ]; then
                    echo -e ":: #2"
                    id_imdb_temp=`cat "${myhome}/asset/releases_json/${release}.json" | grep "link_href" | cut -d\" -f4 | head -n1`
                    if [ -n "${id_imdb_temp}" ]; then
                        imdb_id=`curl -sS ${proxy} -A "${agent}" -L "${id_imdb_temp}" | grep -m1 -oE "tt[0-9]{1,15}"`
                    fi
                fi
            else
                echo -e ":: Fehler... keine Info von XREL erhalten. Probiers gleich nochmal"
                sleep 2s
                getimdb_xrel
            fi
            sleep 5s
        fi
    }
    Aufruf
    Code:
    getimdb_xrel "${release-dirname}"
    getimdb_srrdb "${release-dirname}"
    Ausgabe
    Code:
    echo "$imdb_id"
    Pakete
    Code:
    apt install curl python
    Wo Straßen enden, beginnt Freiheit | Antenne Bayern <3


  2. Diesen Mitgliedern gefällt dieser Beitrag:


    • szeneBOX.org Partner - Partner werden?



  3. #2
    Junior
    Registriert
    Jul 2016
    Beiträge
    61
    Gefällt mir!
    10
    Du gefällst: 36
    Code:
    scene=true&p2p=true
    Keine Ahnung warum ich das vor ein paar Jahren so umständlich machte und P2P und Scene Teil jeweils extra abgefragt hatte. So ist es wohl um einiges einfacher
    THX

  4. #3
    Junior
    Registriert
    Jul 2016
    Beiträge
    61
    Gefällt mir!
    10
    Du gefällst: 36
    Ich habe die beiden functions mal ausprobieren wollen und in einem Script verarbeitet. Der Srr Teil funktioniert bei mir, bei xrel fehlt wohl ein benötigtes Java Paket.
    Da ich mich mit Java so rein gar nicht auskenne, wollte ich fragen welches Paket installiert werden muss.
    Der Fehlet taucht auf in der Zeile:
    Code:
    echo "${xrel_temp}" > ${myhome}/asset/releases_json/${release}.json
    Die Fehlermeldung lautet:
    /asset/releases_json/${Releasename}.json: Datei oder Verzeichnis nicht gefunden
    (Natürlich steht dort der tatsächliche Releasename)
    python-webassets scheints nicht zu sein, das habe ich testweise installiert.


    EDIT:
    Puhh, das ist wohl nur eine Pfadangabe die bei mir nicht vorhanden ist .... Sorry für die Anfrage.

    .... Ja, jetzt klappts auch mit xrel. Ist mir echt peinlich das ich nicht erst genauer geschaut habe und dann erst geschrieben.
    Geändert von banane (14.07.2019 um 20:48 Uhr)

Ähnliche Themen

  1. (BASH) - Release-Informationen per IMDB-ID
    Von Syrius im Forum Entwicklung / Programmierung
    Antworten: 12
    Letzter Beitrag: 11.07.2019, 15:45
  2. (PHP) - PHP xrel Crawler (Bietemaker)
    Von Lemonice1 im Forum Entwicklung / Programmierung
    Antworten: 5
    Letzter Beitrag: 26.05.2019, 12:24
  3. (PHP) - Bietemaker /Xrel Crawler
    Von hOOkz im Forum Entwicklung / Programmierung
    Antworten: 0
    Letzter Beitrag: 15.12.2017, 20:47
  4. (PHP) - xRel Crawler + OMDAPI
    Von Uranjitsu im Forum Entwicklung / Programmierung
    Antworten: 23
    Letzter Beitrag: 07.06.2017, 12:13

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  
SzeneBox.org... im Mittelpunkt der Szene!
© since 2015 szeneBOX.org - All Rights Reserved
Domains: www.szenebox.org