PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : [Suche] Shopscanner Bot etc.



ultrasmd77
11.04.2020, 19:43
Hallo zusammen,
ich suche ein Tool/Bot oder ähnliches, mit dem ich einen Shop nach neuen Artikeln/Produkten durchsuchen kann. Es geht nur darum, dass regelmäßig z.B. im Onlineshop XY, in der Kategorie A gesucht wird, ob ein neuer Artikel gelistet ist. Gibt es sowas schon, oder kann man sowas recht einfach umsetzen?

Danke für eure Hilfe. :-)

masterholdy
12.04.2020, 08:44
shops sind unterschiedlich aufgebaut, ne aussage über machbarkeit etc zu treffen ist schwer ohne konkrete beispiele

ich bin mir ziemlich sicher, dass du das ganze für amazon oder generell größere shops nicht so leicht hinbekommst, ohne dass die seiten selbst apis anbieten

das hat den grund, dass solche seiten schutzmaßnahmen gegen bots benutzten
und zusätzlich gibt es einfach soviele produkte, dass du nicht einfach alle artikel durchlaufen könntest - ohne als bot geflaged zu werden

ultrasmd77
12.04.2020, 09:00
Es ist ein relativ kleiner und einfacher Shop. Ich denke mal, dass auch die Shop-Software nicht sonderlich neu ist.
Es geht um vielleicht 2-3 Kategorien im Shop. Da sind nicht viele Sachen gelistet. Die für mich wichtigste Kategorie hat z.B. aktuell garkein Produkt gelistet.

Shop: https://eshop.t-online.de/epages/Shop42781.sf/de_DE/?ObjectPath=/Shops/Shop42781/Categories
Beispielkategorie: https://eshop.t-online.de/epages/Shop42781.sf/de_DE/?ObjectPath=/Shops/Shop42781/Categories/Signalmunition

Cyberhotte
12.04.2020, 10:11
So schwer ist es gar nicht, schau dir mal das an: https://webscraper.io/

Das einmal ein wenig einrichten, was genau du aus den artikeln brauchst und dann bekommst du eine exportdatei am ende raus, oder mehrere die man weiter verarbeiten kann.

gruß hotte

ultrasmd77
12.04.2020, 10:15
So schwer ist es gar nicht, schau dir mal das an: https://webscraper.io/

Das einmal ein wenig einrichten, was genau du aus den artikeln brauchst und dann bekommst du eine exportdatei am ende raus, oder mehrere die man weiter verarbeiten kann.

gruß hotte

Danke, das schaue ich mir mal an. :-)

echterkevin
12.04.2020, 10:28
PROJECT
$50/MO

Ich glaube da kommst du mit anderen Angeboten etwas günstiger weg ...

Cyberhotte
12.04.2020, 14:15
PROJECT
$50/MO

Ich glaube da kommst du mit anderen Angeboten etwas günstiger weg ...

Die Browser Erweiterung ist Free, und macht so ziemlich das gleiche....

echterkevin
12.04.2020, 14:37
Wenn ihm der Spaß reicht wunderbar ...

ultrasmd77
12.04.2020, 14:39
Also mit dieser Browsererweiterung komme ich irgendwie nicht klar. Keine Ahnung wie das zu dem Ergebnis führen soll, was ich suche. Ich möchte wie gesagt automatisch eine oder mehrere Kategorien eines Shops durchsuchen (z.B. 5mal am Tag) und wenn es was Neues gibt eine Info erhalten. Idealerweise per E-Mail. Vielleicht hätte ich mich da detaillierter ausdrücken sollen.

masterholdy
12.04.2020, 18:06
Es ist ein relativ kleiner und einfacher Shop. Ich denke mal, dass auch die Shop-Software nicht sonderlich neu ist.
Es geht um vielleicht 2-3 Kategorien im Shop. Da sind nicht viele Sachen gelistet. Die für mich wichtigste Kategorie hat z.B. aktuell garkein Produkt gelistet.

Shop: https://eshop.t-online.de/epages/Shop42781.sf/de_DE/?ObjectPath=/Shops/Shop42781/Categories
Beispielkategorie: https://eshop.t-online.de/epages/Shop42781.sf/de_DE/?ObjectPath=/Shops/Shop42781/Categories/Signalmunition

die Umsetzung sollte nicht all zu lange dauern

wenn man jetzt bspw. https://eshop.t-online.de/epages/Shop42781.sf/de_DE/?ObjectPath=/Shops/Shop42781/Categories/%22Sonderposten%20Kat.%201%22/Tischfeuerwerk
nehmen würde kannst du einfach gucken in was für einer wrapper die einzelnen artikel sind
bspw:

<div class="ListItemProduct">...</div>

dann benutzt du einfach irgendein framework was halt für dich html parsed (Beautiful Soup (python), jsoup (java), ...)
und suchst halt nach dem wrapper in diesem fall per class-selector name: "ListItemProduct"
dann holst du dir aus dem objekt die daten die du brauchst

alle daten die du so geparsed hast kannst du einfach mit einer bestehenden liste an objekten vergleichen, falls ein objekt vorher nicht drin war ist es neu => kannst dann damit halt machen was du machen willst
da die datenmenge relativ gering ist würde ich zur datenhaltung einfach sqllite oder so benutzten

als id zu vergleichen würde ich einfach die artikel-nr nehmen

also irgendwas in diese richtung


let items = document.getElementsByClassName("ListItemProduct");
for(item of items){
let title = item.innerText.split("\n")[0];
console.log(title);
}

und dann speicherst du halt alle title und vergleichst das bei jedem scan

echterkevin
12.04.2020, 18:08
" Ich möchte wie gesagt automatisch ... (z.B. 5mal am Tag) und wenn es was Neues gibt eine Info erhalten. Idealerweise per E-Mail."

Sag mal Keule hast du nen Problem?

fritzi
12.04.2020, 20:08
Ansonsten nimm doch einfach die sitemap.xml, die hat jeder moderne Shop und die Daten sind schon strukturiert. Sollte ausreichen um neue Produkte zu identifizieren.

ultrasmd77
13.04.2020, 05:56
" Ich möchte wie gesagt automatisch ... (z.B. 5mal am Tag) und wenn es was Neues gibt eine Info erhalten. Idealerweise per E-Mail."

Sag mal Keule hast du nen Problem?
Was hast Du denn jetzt für ein Problem??

- - - - - - - - - - Beitrag nachträglich erweitert - - - - - - - - - -

@masterholdy
Erstmal Danke :-)
Muss ich mal schauen. Ich habe halt von programmieren/coden keine Ahnung.

echterkevin
13.04.2020, 08:45
Bitte löschen

ultrasmd77
31.05.2020, 05:49
Meld mich jetzt erst zurück, da das testen doch recht lange gedauert hat, weil der angesprochene Shop eher selten neue Ware reinbekommt. Im Endeffekt habe ich eine kostenlose App gefunden Web Alert (https://play.google.com/store/apps/details?id=me.webalert&hl=de) die genau das tut was ich gesucht habe. Ich habe mich dann letztendlich für die kostenpflichtige Variante entschieden, bzw. für das Zusatzpaket, wo man noch ein paar Möglichkeiten mehr hat. Kann also hier geschlossen werden. :-)

pablo
28.07.2020, 21:50
Python + Selenium = Lösung

ultrasmd77
29.07.2020, 04:23
Python + Selenium = Lösung
Lösung ist doch schon längst gefunden. Und einfacher wie mit der App geht es doch fast garnicht.