PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Proxies



darkness
16.04.2016, 19:53
Hallo,

für ein Projekt benötige ich eine Menge Proxies. (Socks4 / Socks5 egal) am besten USA. Also so paar 1000 sollten es schon sein.

Kennt jemand ne Quelle und Preise?

Jana-Maria
16.04.2016, 21:08
Feste Proxys? Proxys die nur paar Stunden gehen?

darkness
16.04.2016, 21:18
Feste! Wäre wichtig. Also ich brauch so 10.000 Stück oder so :D

fishfish
16.04.2016, 21:53
Bot-Network? 😄

Jana-Maria
16.04.2016, 21:54
Mir ist kein Anbeiter bekannt der 10.000 feste Proxys bieten kann.
Was zum Teufel willst du damit?

darkness
16.04.2016, 23:05
Naja.

Le Problem....

Linkcrypter mit Millionen Links. Zu viele Request an die Filehoster kann in nem Block enden. Und um das zu umgehen dachte ich an Proxies.

xxx-dream
17.04.2016, 05:23
das solltest du auch gleich mal vergessen falls du nicht Geld zum kacken hast :) hab selber sowas gesucht und ohne Zugang zu einem botnet Betreiber was dich 2-3 k oder mehr im Monat kostet wird es wohl nix kannst ja mal dein Glück bei vip72.com versuchen ob er sowas bietet normal suchen die Leute socks nur für paar Minuten und in kleinen Mengen das abartig viel was du suchst da hilft nur eigens botnet aufsetzen oder dir Zugang zu einem botnet kaufen viel Erfolg bei der suche

günstiger als das so zu machen lohnt es sich einfach auf die linkcrypter zu verzichten linkcrypter schützen eh nicht vor abuse

darkness
17.04.2016, 05:38
Äh. Nein. Ist ja nicht meine Idee. Kunde und so. Irgendwie müssen das die anderen Linkcrypter ja auch lösen. Ich würde ja mal Nuka oder so fragen wie die das lösen aber ich trau mich nicht. :emoji40:

The Don
17.04.2016, 05:45
Für was sollte LC und FC so viele Proxys brauchen? LC hatte damals 3 Proxys. Mehr nicht.

darkness
17.04.2016, 07:14
Naja ich weiß halt nicht was die Filehoster fressen an Request. Sagen wir mal ich hab 10 Mio Links. und davon sind 3 Mio uploaded.net. Kann mir kaum vorstellen das da 3 Proxies reichen ^^

The Don
17.04.2016, 07:25
Du checkst doch die links nicht aller 60min.

darkness
17.04.2016, 07:45
Naja alle 24 Stunden sollte es aber schon sein. Dazu kommt noch die Recheck Option. Also 3 - 6 Mio Anfragen könnten denk ich trotzdem Probleme geben?!?

Unlimiter
17.04.2016, 07:52
Du checkst alle Links nicht gleichzeitig, sondern verteilt.

Cannonau
17.04.2016, 11:28
Naja ich weiß halt nicht was die Filehoster fressen an Request. Sagen wir mal ich hab 10 Mio Links. und davon sind 3 Mio uploaded.net. Kann mir kaum vorstellen das da 3 Proxies reichen ^^

Hat Dein Kunde einen API-Zugang? Wenn ja, dann hat er doch auch bei UL angegeben, wieviel Anfragen er erzeugt. Ich würde dann einfach mal mit denen reden, wie die Jungs sich das vorstellen. Wenn nein, würde ich mit UL mal in Kontakt treten und so einen Zugang beantragen, denn das wird ja bei dieser Linklast auch für den Kundenserver eine erhebliche Trafficreduktion bedeuten, wenn Du die API benutzen kannst.

The Don, wie habt Ihr das denn damals mit Euren 3 Proxies gemacht? Normale Seitenaufrufe oder API?

Cannonau

syrius
17.04.2016, 11:28
Wir haben das damals einfach so gelöst, dass man bei OVH ein Server hatte, ein Subnet gemietet hat und die IP-Adressen zusammen mit dem TOR-Netzwerk als Proxy laufen lies und die IP-Adressen aus TOR+Subnet alle x Sekunden rotiert sind. Man hatte also einen Proxy-Eingang (Client) und alle x Sekunden eine andere IP ausgehend.

The Don
17.04.2016, 11:37
The Don, wie habt Ihr das denn damals mit Euren 3 Proxies gemacht? Normale Seitenaufrufe oder API?

Cannonau

Per API. Die Proxys waren als Reserve oder für Hoster die keine API bereitstellen.

Cannonau
17.04.2016, 12:15
@Ex-LC: Schönes Design, danke :-)

@SpoBo: Ist doch für einen Kunden mit so vielen Links bezahlbar, so eine Infrastruktur oder ist das eher so ein Saturn-Kunde?

Da hier schon über zeitliche Streuung der Anfragen gesprochen wurde: eine weitere Maßnahme zur Lastreduktion kann die Priorisierung nach Zugriffsstatistik und / oder Onlinezeit sein. "Wenn Link x Tage ohne Löschung, reduziere Checkfrequenz auf 0.5/Tag" - das sollte die Anzahl der notwendigen Checker weiter reduzieren.

Cannonau

darkness
17.04.2016, 14:50
Öh ok. Hm. Ja bei uploaded.net könnte man das über die Api lösen. Wir haben 39 Hoster Plugins, 35 davon haben aber keine API. Der Linkcrypter ist nicht für den deutschen Markt. Ich weiß nicht welche Filehoster die Amis nutzen.

Ne, natürlich werden die Links nicht gleichzeitig geprüft.

Es ist so das ich ne Queue implementiert habe in die Links gepusht werden. FIFO. Sprich wenn einer einen Ordner mit 1200 Links erstellt (60 GB game 100 mb parts * 2) dann stehen 1200 Checks an. Ich hätte das schon gerne so das wenn ein Ordner angelegt wurde Status / Dateinamen und Größe zeitnah bereitstehen, so wie bei filecrypt.

Zum Kunden. Ich bekomme für das ganze Dingen viel zu wenig. :emoji40: (Ok. Ich bekomme ein paar Werbeplätze)

The Don
17.04.2016, 17:36
Geil, dich stell ich als vollzeit Coder ein.
Spon ich mag dich echt, aber manchmal frag ich mich echt bei dir....
Ich sag dir auch offen und ehrlich, ein Linkcrypter ist etwas zu groß für dich. Zumal du es alleine machst.

darkness
17.04.2016, 17:51
Du kannst aber schon lesen? Es ist ein Kunden Auftrag.

The Don
17.04.2016, 19:34
Und wer pflegt den Crypter dann?

darkness
17.04.2016, 19:44
Mir Schinken. Wenn ich da weiter dran arbeiten soll muss er mir was geben. Bin ja so gesehen kein Projekt Owner der da aus Spaß an der Freude mitmacht ^^

The Don
18.04.2016, 06:40
Und genau diese Pflege wird dich am Ende kaputt machen, wenn du es alleine machen musst. Denn eure 40 Hoster sind erst der Anfang. Guck dich bei The-Lounge.org um was ständig für Anfragen kamen, zwecks neuer Hoster, oder weil einige Plugins nicht mehr gingen. Dabei hatte LC schon fast alle Hoster drin.
Wenn du sagst, es coden 2-3 Leute daran, sag ich, es ist machbar. Alleine? Machst du dich kaputt!

Unlimiter
18.04.2016, 07:20
So wie ich das verstehe gehts nur darum ein einziges Release zum Zeitpunkt T zu erstellen. Es geht nicht darum es nach Zeitpunkt T weiter zu warten. Dementsprechend sind sämtliche weiteren Anfragen bzw. später eintreffende Änderungen nach Abgabe irrelevant für Sponge.

darkness
18.04.2016, 08:31
Genau. Bugs werden natürlich behoben aber wenn er neue Hoster haben will muss er die zahlen. 3 Leute für Hoster Plugins? Wieviele Hoster gibt es denn? Ich hab für die 39 Plugins ~ 10 Stunden gebraucht, weniger wohl. Don mach dir keine Sorgen ich werde es schon überleben und wenn nicht, mir doch Schnuppe ...

The Don
18.04.2016, 08:49
Dann guck in JD oder z-o-o-m da hast du die Anzahl.
Ok dann mach, viel Spaß.

darkness
18.04.2016, 08:57
Naja. Er hat mir eine Liste mit in Amerika populären Filehostern gegeben. Die hab ich implementiert. Ich denke er will gar nicht alle Filehoster supporten. ;)

fishfish
18.04.2016, 09:59
Hört sich nach d4rk von WJ an. Der wollte ein Linkcrypter-Skript haben 😄

darkness
21.04.2016, 06:30
Also ich hab jetzt 1000 Proxies. Hoffe die reichen erstmal.