PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : (Suche) - Tool das neuen Stuff vom FTP runterlädt und dann auf Google/Amazon uppt



deathbasher
05.05.2016, 19:42
Moin,

ich bin zurzeit auf der Suche nach einem Tool, welches automatisch neuen Stuff von nem (Szene-) FTP herunterlädt und dann auf GoogleDrive und/oder AmazonCloud speichert.
Danach sollten die Daten lokal (in dem Fall auf einem Server) wieder gelöscht werden.

Ziel des ganzen ist ein mehr oder weniger großes (privates) Szenearchiv aufzubauen, was ich zurzeit per Hand mache und das ist sehr Zeitaufwändig :D



mfg

The Don
06.05.2016, 05:01
Gibt's, meines Wissens nach noch nicht.

1stAid
06.05.2016, 07:30
Geht in Kombination z.B. Intellitool, Netdrive und dem Autopacker (mit Ordnerüberwachung). Dem Autopacker könnte man beibringen auf beide Drives GDrive/Amazon) zu kopieren.

caly
06.05.2016, 09:42
Ich könnte mir vorstellen, dass man mit "lftp" eine ganze Sektion vom FTP laden kann.
Nur ausgewählte Sachen laden geht leider nicht so einfach. Zumindest war "flexget" dafür zu lahm und andere public Tools sind mir da nicht bekannt.

Die so entstehenden nen Ordner müsste man doch mit 7z oder ähnlichem packen können.

Dann hätte man pro Rel nur noch ein File was man hochladen müsste.

jbs
06.05.2016, 10:03
Ich würde ja behaupten, dass ein System in Arbeit ist, welches das unter anderem können wird, nur leider würde ich dann vorgreifen und Hoffnungen schüren, die ich in nächster Zeit noch nicht befriedigen kann...

Nimbus
06.05.2016, 10:16
Ich würde ja behaupten, dass ein System in Arbeit ist, welches das unter anderem können wird, nur leider würde ich dann vorgreifen und Hoffnungen schüren, die ich in nächster Zeit noch nicht befriedigen kann...
Lieber einen Post verfassen, der quasi nahezu nichts aussagt? :D

Prinzipiell nutzen solche Tools meist den IRC des FTP oder Befehle wie "site new/site search". Wenn man wirklich alles spiegeln möchte, was kommt, dann spart man sich ja schon viel Logik (kein Sortieren, kein Auswählen, etc) und ein solches Script ist da nicht mal mehr so komplex.
Ansonsten kannst du auch einen FTP aufsetzen und dann mit den verfügbaren Autotradern arbeiten. Preee von PARADOX kann glaube ich nicht nur "FTP zu FTP" sondern auch "FTP zu Lokal".
Mit Netdrive (oder Konsorten) hast du das hochladen und lokal löschen ja quasi schon erledigt.

jbs
06.05.2016, 11:14
Genau, das wollte ich damit auch bezwecken. Ich glaub die meisten wollen einfach ein fixfertig system bei dem sie nur die daten eingeben müssen und das wars dann. So sieht zumindest mein Plan aus...

y0l0sw4gg3r
06.05.2016, 12:10
Über Umwege geht dies bereits jetzt - Ich habe mir nen kleinen FTPd gebastelt, der als datastore direkt gdrive und odrive instanzen nutzen kann. Mit nem Autotrader davor/dazwischen sollte dies also bereits funktionieren.

Ich habe leider keinen anderen FTPd im Kopf, der dies bereits unterstützt, kann jedoch sagen, dass die Implementierung trivial ist.

Edith: https://github.com/andresoviedo/google-drive-ftp-adapter

deathbasher
06.05.2016, 12:31
Hmmm ich bin ein User der es gerne komplett in einem Paket hat :D

Wie viel würde so ein all-in-one-Programm den ungefähr kosten?

Optimal wäre natürlich noch wenn die Ordnerstruktur beibehalten wird

Forenplage
06.05.2016, 12:42
Bekunde auch mein Interesse an so einem Tool.

@deathbasher Wie gross ist denn dein privates Archiv?

deathbasher
06.05.2016, 12:46
Per Hand habe ich in den 5 Tagen seitdem ich Zugriff auf den FTP habe knapp 5 TB übertragen.


Würde aber gerne nicht jedes mal selber gegenchecken müssen was grad frisch released wurde...

Forenplage
06.05.2016, 13:13
Den FTP von SceneDownloads oder NRECORD?

Koennte dir bei Interesse auch mein Archiv (35TB) zur Verfuegung stellen - alles per Hand.

deathbasher
06.05.2016, 13:15
Habe nen anderen FTP ;)

Weiteres per PN!

fuckedup
06.05.2016, 13:33
NRECORD gibts immer noch? :D

Forenplage
06.05.2016, 13:51
Ich hab seit ueber einem Jahr nichts mehr davon gehoert :D
Wenns das noch gibt, hatte ich mir eine Kontaktperson erhofft die mir einen Zugang anbieten kann ;)

Firecooler
06.05.2016, 16:20
Ich hatte eine Experiment mit meinen custom Scripts gemacht.

1. automatisiert RSS Torrents via transmission und flexget downloaden. (weil linux server)
2. Daten auf Hostern schieben, Links generieren.
3. Wartezeit wegen Konversionen, Links automatisiert prüfen ob sie erreichbar sind.
4. Posts auf Wordpress vorbereiten und posten.
5. Links von Blog anderswo übermitteln, Traffic generieren.

Mein Fokus war aber SEO und suchmaschinentraffic.

Geht halb gut ab, es ist noch verbesserungswürdig, statt 1. könnte man mit FTP arbeiten oder z.b. 2. mit GoogleDrive

syrius
06.05.2016, 20:20
So Jungs und Mädelz.... dann kommen wir mal auf den Punkt (back to topic!). Wir sind hier im Entwicklungs-Forum. Der Junge sucht also ein Entwickler der ihm dergleichen programmiert und zuvor ein Angebot macht - also bitte :-)

Firecooler
06.05.2016, 21:16
Moin,

ich bin zurzeit auf der Suche nach einem Tool, welches automatisch neuen Stuff von nem (Szene-) FTP herunterlädt und dann auf GoogleDrive und/oder AmazonCloud speichert.
Danach sollten die Daten lokal (in dem Fall auf einem Server) wieder gelöscht werden.

Ziel des ganzen ist ein mehr oder weniger großes (privates) Szenearchiv aufzubauen, was ich zurzeit per Hand mache und das ist sehr Zeitaufwändig :D



mfg

Back to Topic:

Du kannst das einfacher mit Cronjob-Tools lösen,
ein Cronjob lädt die Daten von FTP herunter und ein anderen Cronjob lädt die Daten auf GoogleDrive/AmazonCloud hoch

syrius
06.05.2016, 22:41
Schnelle Lösung...

Material
- 1x Windows Server
- 1x NetDrive (szb-Link (https://www.szenebox.org/142-suche-biete/2458-netdrive-2-6-7-build-827-szenebox-org/))
- 1x Filezilla-FTPD (Link (https://filezilla-project.org/download.php?type=server))

Installation
NetDrive auf dem Win installieren, Cloud-Distributor einbinden, FTPD installieren und Benutzer mit "home" auf das neue Drive-Laufwerk. Damit hast du schon mal eine gute Grundlage für weitere Entwicklungen per Batch, Bash, VB, ....

Gruß

Forenplage
06.05.2016, 22:45
WebDAV ist bei groesseren Dateien ueberhaupt nicht angenehm zu verwenden.
Heute erst habe ich ca 170GB versucht per WebDrive (eingebunden ueber NetDrive) auf Gdrive upzuloaden und im Schnitt musste ich jede Datei wiederholen.

Jana-Maria
06.05.2016, 23:14
Ich lade via FTP runter mit Intelli, lasse die Ordner von Zoom überwachen und lasse es hochladen. Die Files werden aber alle vorher entpackt, also keine Szenearchive mehr.
Bei Zoom habe ich es über die Profile eingestellt das es in die Unterordner bei Google Drive hochlädt.

Ist zwar nicht das was du suchst aber ein Ansatz. Und per Zoom gehen die Daten in Gegensatz zu anderen Lösungen per Fullspeed hoch.

Forenplage
07.05.2016, 11:24
Danke Jana, das ist eine klasse Idee!

Ist es schwierig, das auf Intelli einzurichten? Entpacken muss nicht sein da auf meinem Dump bereits alles entpackt liegt.

Celv
07.05.2016, 12:35
Möse hat mal nh PN ;)

The Don
07.05.2016, 19:17
@Jana Problem ist aber, daß zoom keine Ordner uppt sondern nur Dateien.

Sairenji
07.05.2016, 19:58
Zoom kann aber auch Ordner erstellen. Sieht man zb. Auch bei 1fichier. Muss man nur für lokal eingestellt haben. Falls das im gdrive noch nicht implementiert wurde, kann man Admin schnell anschreiben was er dann fit macht...

Gesendet mit Tapatalk

Jana-Maria
07.05.2016, 20:41
Hab doch geschrieben das die Dateien vorher entpackt werden und dann in den Unterordner bei Google-Drive kommen. 1-Part Download finde ich persönlich auch bequemer als 50 Rar-Archive ;)

Forenplage
07.05.2016, 20:52
Ja, bei GDrive kann man Ordner erstellen.

Man gib einfach in den Profileinstellungen bei "Local folder" etwas ein wie D:\Upload

Darin kommt die Ordnerstruktur, die man gern auf Gdrive will, z.B.

Filme
Serien

usw

Dann einfach Dateien in ZOOM schieben und die Struktur wird uebernommen. Selbst wenn man nur eine einzelne Datei verschiebt, zB:

D:\Upload\Filme\Harry Potter\1.mkv

wird bei Gdrive zu

(root)/Filme/Harry Potter/1.mkv

1stAid
08.05.2016, 09:56
Ihr wisst doch was Don meint, er möchte die Ordnerstrucktur erhalten und nicht alles Quer beet. Da Ordner enthalten sind dessen Namen man (vorher)nicht kennt oder subordner "sample" z.B. ist es für diesen Anwendungsbereich nicht flexibel genug. Da bin ich mit meinem Tool und Netdrive wesentlich flexiber, da mir die Ordnerstruckturen baue wie ich sie Brauche. Ich denke Zoom hat dort seine Stärken wo keine Ordnerstruckturen benötigt werden. Ausserdem ist es auch ein echtes schnäppchen mit 50$ Dollar für die volle Premiumversion soll mann die Kirche auch im Dorf lassen.
Alleine wenn ich Streamhoster nicht coden muss/müste rechnet sich das.
Gruß

The Don
08.05.2016, 10:35
$50? Ich habe damals 5€ gezahlt ;)

Forenplage
08.05.2016, 12:36
NetDrive kriegste gratis bei BoerseTo.

Ausserdem gibt es kaum etwas instabileres als WebDAV. Da wird nahezu jede groessere Datei fehlerhaft sein.

Besser ist meine Loesung mit ZOOM, dabei wird auch die gewuenschte Ordnerstruktur uebernommen

1stAid
08.05.2016, 12:55
Mit der Freischaltung der 3rdParty API? Ordnerüberwachung usw?