Seite 1 von 6 123 ... LetzteLetzte
Ergebnis 1 bis 15 von 85

Thema: [Google] als externen Speicher statt dicke Root-Server

  1. #1
    Avatar von syrius
    Registriert
    Mar 2015
    Beiträge
    2,124
    Gefällt mir!
    1,233
    Du gefällst: 2,816

    [Google] als externen Speicher statt dicke Root-Server

    Guten Morgen,

    wir beschäftigen uns nun schon seit ein paar Wochen mit dem Thema "externe Cloud-Distributoren" um sie als brauchbares Storage einzusetzen. Unsere Ideen, Methoden und Erfahrungen möchten wir euch hier kurz vorstellen. Anschließend können Interessenten sich gern an Weiterentwicklungen beteiligen, Vorschläge und Ideen einbringen, etc.

    Unser Problem ist, wir haben alle irgendwo etwas zu wenig Speicher. Und sollte dem nicht der Fall sein, beschäftigt uns das Thema der Redundanz/Hochverfügbarkeit und Backups. Sicher ist ein Server mit viel Speicher für wenig zu haben - aber sind die Daten dann auch gegen einen Hardware-Defekt geschützt? Nicht immer und schon gar nicht für "wenig zu haben". Also war unsere Idee einen externen Cloud-Speicher wie Dropbox od. Google-Drive als Laufwerk in Linux zu mounten um demnach, wie vom restlichen FS gewohnt, Daten ablegen zu können die keinen lokalen Speicher belegen, vor Ausfall geschützt sind und unter diesen Bedingungen keine Backup-Tasks oder Raid-Controller mehr benötigen.

    Die Idee ist schon mal gut...

    In der Praxis haben wir uns zuerst mit Linux beschäftigt - da wir auch nicht unbedingt Interessiert sind einen Windows-Server regelmäßig zu warten. Unter Linux gibt es verschiedene - wenige - Möglichkeiten externen Cloud-Speicher von Google anzubinden. Leider haben wir hier mit allen standalone Möglichkeiten keine brauchbare Methode gefunden Daten zuverlässig über mehrere Instanzen und gleichzeitig auf unser neues Laufwerk zu transferieren. Die Verbindungen mit "google-drive-ocamlfuse" und "GDriveFS" sind etwas instabil und ein Datentransfer bricht eigentlich immer zuverlässig ab. "Grive" ist lediglich eine Möglichkeit die API v. Google-Drive anzusprechen, was für uns im ersten Moment nicht weiter interessiert ist... wir das Rad auch nicht neu erfinden möchten.

    Probleme ohne Ende...

    Die verschiedenen Clients unter Linux waren für uns absolut unbrauchbar. Geschwindigkeiten sind sehr schlecht, Verbindungen brechen ab, das System wird instabil od. hängt sich an Timeout's auf. Wenn man langsam und behutsam damit eine Datei nach der andere kopiert... mag das durchaus funktionieren. Weiterhin haben wir nach dem erfolgreichen "mounten" unter Linux ein FTPD installiert um hier mal zu testen wie es mit FXP-Transfer aussieht. Geschwindigkeiten bis zu 1,5MB/s sind möglich aber auch hier bricht der Transfern gern ab. Wir haben also von der Möglichkeit den Speicher über Linux zu deployen erst mal abgelassen.

    Besserung in Sicht...

    Zunächst sind wir auf Windows 2008 R2 (SP1) gegangen um mit der Anwendung "WebDrive" des Herstellers South River Technologies das Laufwerk einzubinden. Leider war hier trotz Optimierung der Cache-Settings und der Wahl von Windows keine deutliche Besserung in Sicht. Der Datentransfer lief zuverlässiger aber auch haben wir bei nächstem Versuch über einen FTPD auf das Laufwerk zu Flashen (FXP) bemerkt, dass einige Daten nicht übertragen wurden / der Transfer abgebrochen hat und wir Fehlermeldungen erhielten mit denen nicht wirklich etwas anzufangen war.

    Eine brauchbare Lösung...

    Zuletzt haben wir noch die Anwendung "NetDrive" des Herstellers Bdrive Inc. - ebenfalls für Windows getestet und hier scheint es als haben wir eine brauchbare / funktionale Lösung gefunden. NetDrive lässt sich als Netzlaufwerk oder physikalisches (Fake)-Laufwerk einbinden. Letzteres hat den Vorteil, dass Anwendungen, die sich nicht auf Netzlaufwerke mappen lassen hier trotzdem zum Einsatz kommen können. Gerade wenn man mit FTPD's arbeitet kommt es vor, dass das HOME-DIR eines Users kein Netzlaufwerk sein kann (ist auch nicht bei jedem FTPD so...). Bei iSCSI haben wir gemerkt, dass Microsoft selbst das Fake-Laufwerk von NetDrive nicht anerkennt (Danke an der Stelle für den zusätzlichen Einsatz von y0l0sw4gg3r) - demnach ist es nicht möglich eine VHD von einem externen Cloud-Speicher als iSCSI zu deployen. Windows kann direkt auf dem externen Speicher (über NetDrive) übrigens keine VHD größer als 1,5TB direkt erstellen. Alles drüber bricht mit der Meldung "Falscher Parameter" ab. Es ist nun zwar möglich ein virtuelles Laufwerk zu erstellen und in Windows einzubinden aber eben nicht per iSCSI zu deployen.

    Stabile Lösung gefunden...

    Die für uns aktuell stabile Lösung sieht so aus, dass wir NetDrive den Cloud-Speicher mappen lassen, einen FTPD (Filezilla Server) auf dem Windows installiert haben und nun per Linux und "curlftpfs" das Laufwerk auf unserem Linux einbinden. Wir nutzen Linux hier lediglich für Index-Arbeiten und kleinere Daten zum hin-und-her kopieren da leider auch "curlftpfs" nicht gerade optimiert ist um viele Daten in einer annehmbaren Geschwindigkeit zu transferieren.

    Transfergeschwindigkeiten

    Windows <-> Drive
    • schreiben (45MB/s)
    • lesen (12,5MB/s)

    Client <-> FTPD <-> Windows <-> Drive
    • schreiben (31MB/s)
    • lesen (9MB/s)


    Die Geschwindigkeit ist das nicht das gelbe vom Ei aber eine durchaus brauchbare Lösung wenn man mit automatisierten Prozessen arbeitet, stört das Warten auch nicht weiter.
    ---

    Eigentlich war der Plan Protokolle wie SMB, SSH, iSCSI, FTP über Linux zu deployen aber das mussten wir aus Gründen, wie oben steht, fallen lassen - zumindest bis sich etwas neues ergibt.

    Aktuell ungetestet
    - Samba-Mount von Windows
    - SSH-Mount durch installation eines SSH-Server auf Windows
    - curlftpfs Optionen optimieren (aktuell: curlftpfs -o allow_other,big_writes,sync_read,skip_pasv_ip ....)

    Zu lösende Probleme
    - Linux Mount ohne Gateway (Windows/FTP) zu akzeptabler Stabilität
    - Indexierung der im Cloud-Speicher liegenden Daten extrem langsam (Beispiel Linux "find")

    Anwendungen zum einbinden von Cloud-Speicher
    Microsoft Windows
    - NetDrive (Link)
    - WebDrive (Link)

    Linux
    - google-drive-ocamlfuse (Link)
    - Grive (Link)
    - GDriveFS (Link)

    Alternativen (Linux)
    - curlftpfs (Link/Wiki)


    So. Das sind unsere Erfahrungen bisher damit. Wir denken es ist eine durchaus brauchbare Lösung für einige und wir hoffen es finden sich hier noch Teilnehmer die gern ihre Erfahrungen / Ideen und Vorschläge mit einbringen möchten.

    Vielen Dank!
    SzeneBox.org bei Telegram https://t.me/szenebox

  2. Diesen Mitgliedern gefällt dieser Beitrag:


  3. Werbung - Hier werben?
  4. #2
    Senior
    Registriert
    Jun 2015
    Beiträge
    663
    Gefällt mir!
    208
    Du gefällst: 395
    Also mal abgesehen davon das ich auch schon damit rumexperimentiert und keine zufriedenstellende Lösung gefunden habe halte ich das für vertane Müh.

    In dem Moment wo das wirklich alltagstauglich wird werden Leute Anfangen die Accounts zu missbrauchen.Insbesondere die Google Apps Unlimited Geschichte. Mein Tipp ist das sowas ziemlich schnell von Google gedeckelt wird. Microsoft hat es mit One Drive vorgemacht. Die ganzen Cloudspeicheranbieter die im letzten Jahr zugemacht haben sprechen auch eine deutliche Sprache, viel brauchbare Konkurrenz gibts da nicht mehr.

    Abgesehen davon Google macht ständig Angebote zu also werden sie bei ner Kosten/Nutzen Rechnung nichtmal zucken wenn es darum geht ob sie das Angebot bestehen lassen.

    Aber das hilft dir nicht weiter und du wirst sicherlich auch anderer Meinung sein.

  5. Diesen Mitgliedern gefällt dieser Beitrag:


  6. #3
    Senior
    Registriert
    Apr 2015
    Beiträge
    240
    Gefällt mir!
    137
    Du gefällst: 205
    Google Apps for WORK(!) ist ein bezahlter Dienst. Den gibt es seit Jahren in dieser Form - Änderungen an Verträgen sind so schnell nicht zu erwarten.

    Syr - Eure Erkenntnisse sind identisch meiner. Netdrive ist das Optimum. Von WebDrive rate ich DRINGEND ab. Hier werden Files manchmal ins Nirvana synchronisiert. Bestehende Dateien sind einfach weg. Das musste ich leider öfter feststellen, bis ich endlich den Verursache live erwischt habe.

  7. Diesen Mitgliedern gefällt dieser Beitrag:


  8. #4
    Senior
    Registriert
    Jun 2015
    Beiträge
    663
    Gefällt mir!
    208
    Du gefällst: 395
    Zitat Zitat von Cappa Beitrag anzeigen
    Google Apps for WORK(!) ist ein bezahlter Dienst. Den gibt es seit Jahren in dieser Form - Änderungen an Verträgen sind so schnell nicht zu erwarten.

    Da ich das nutze seit es das gibt muss ich dir hier widersprechen
    Es wurden schon einige Sachen geändert insbesondere an der Preisstruktur. Sich daran zu klammern das Google dir irgendwas schenkt ist illusorisch. Die stellen alles ein was kein Profit verspricht bzw passen die Preise an.

    Und auch One Drive ist ein bezahlter Dienst was sie nicht gehindert hat das unbegrenzt abzuschaffen


    Solange es läuft ist es ja witzig, nur 100tb draufzuknallen und zu denken das geht auf Dauer gut ist etwas naiv. Ich habe noch nie ein Cloudspeicher erlebt der zu diesem Preis lange überlebt hat(wie gesagt Google beschränkt es einfach)

  9. #5
    Tangiert peripher syrius Avatar von Jana-Maria
    Registriert
    Mar 2015
    Beiträge
    2,086
    Gefällt mir!
    532
    Du gefällst: 2,047
    Google hat genug Kapazitäten um ein paar wenige Kunden auch bei Google Drive Unlimited paar Petabyte zur Verfügung zu stellen.
    Es werden ja nicht 100.000te Szene-User ein paar Petabyte da bunkern.


  10. Diesen Mitgliedern gefällt dieser Beitrag:


  11. #6
    Orakel von Delphi Avatar von 1stAid
    Registriert
    Dec 2015
    Beiträge
    267
    Gefällt mir!
    86
    Du gefällst: 226
    Ich tüftel gerade an was ähnlichem, der einzige Unterschied ist das ich noch ein Indexfile für Gdrive das an einem Datenbankserver hängt um gezielt auf Ordner zuzugreifen. Da die Ordner selbst auch verschlüsselt sind macht für mich das Datenbank-Indexfile durchaus Sinn.Plan ist aus Stabilitätsgründen Netdtive wenig arbeit zu machen.

  12. #7
    Senior
    Registriert
    Apr 2015
    Beiträge
    240
    Gefällt mir!
    137
    Du gefällst: 205
    Zitat Zitat von fritzi Beitrag anzeigen
    Es wurden schon einige Sachen geändert insbesondere an der Preisstruktur.
    In den zwei Jahren meiner Nutzung nicht.

  13. #8
    Senior Avatar von Nimbus
    Registriert
    Oct 2015
    Beiträge
    561
    Gefällt mir!
    96
    Du gefällst: 573
    Wie bereits im anderen Thread berichtet habe ich ebenfalls (weitestgehend Erfolgslos) mit Google Drive unter Linux rumgespielt.
    Zusätzlich zu den oben genannten Clients habe ich noch folgende entdeckt und getestet:
    node-gdrive-fuse wird leider nicht mehr weiter entwickelt. Ist teilweise recht flott, aber auch extrem verbuggt. Hier fehlt u.a. die Möglichkeit Dateien mit r+w zu öffnen (read only oder write only funktionieren)
    FuseDrive ist aktuell die Lösung unter Linux, die den besten Eindruck macht. Konnte noch keine Bugs feststellen. Upload-Geschwindigkeit war allerdings teilweise recht unterschiedlich. Ich hab das Gefühl, dass man bei FuseDrive mit etwas Experimentieren (mit den Optionen des Tools selbst oder mit den Fuse-Optionen), noch mehr raus holen kann.

    Neben der Einbindung/Performance selbst hat mich auch ein weiterer Gedanke beschäftigt: was passiert, wenn der Account ein Größenlimit überschreitet, dass man noch als "normal" ansehen kann? Klar die Grenze wird sicher nicht extrem niedrig sein, aber rein theoretisch musst der Punkt, an dem die Daten ungewöhnlich viel Speicher verbrauchen erreicht sein. Wenn da dann jemand von Google (warum auch immer) aufmerksam wird, dann ist es doch eher unpraktisch, wenn die Files ganz offensichtlich Copyright verletzen. Es wäre also wohl auch sinnvoll über etwas Tarnung für die Dateinamen/Dateiinhalte nachzudenken.

  14. #9
    Tangiert peripher syrius Avatar von Jana-Maria
    Registriert
    Mar 2015
    Beiträge
    2,086
    Gefällt mir!
    532
    Du gefällst: 2,047
    Schonmal damit probiert?
    Grive2 — YourcmcWiki


  15. #10
    Senior Avatar von Nimbus
    Registriert
    Oct 2015
    Beiträge
    561
    Gefällt mir!
    96
    Du gefällst: 573
    Zitat Zitat von Jana-Maria Beitrag anzeigen
    Schonmal damit probiert?
    Grive2 YourcmcWiki
    Das Tool scheint ebenfalls eher fürs synchronisieren gedacht zu sein und nicht dazu den Inhalt als Dateisystem mountbar zu machen.

  16. Diesen Mitgliedern gefällt dieser Beitrag:


  17. #11
    Senior
    Registriert
    Apr 2015
    Beiträge
    240
    Gefällt mir!
    137
    Du gefällst: 205
    Man kann in aktuellen Ubuntu Versionen angeblich Cloud Speicher mounten. Das jemand mal getestet?

  18. #12
    THEMENSTARTER

    Avatar von syrius
    Registriert
    Mar 2015
    Beiträge
    2,124
    Gefällt mir!
    1,233
    Du gefällst: 2,816
    Zitat Zitat von Cappa Beitrag anzeigen
    Man kann in aktuellen Ubuntu Versionen angeblich Cloud Speicher mounten. Das jemand mal getestet?
    Hast du da weitere Quellen dazu? Hab nämlich mal eben gesucht aber nichts gefunden.
    SzeneBox.org bei Telegram https://t.me/szenebox

  19. #13
    Senior
    Registriert
    Apr 2015
    Beiträge
    240
    Gefällt mir!
    137
    Du gefällst: 205
    Ähhh ne - das lief mal vor Monaten an mir vorbei. Damals als Ubuntu anfing mit der Ubuntu Cloud.

    Kann ich aber auch mit anderen News zusammen vermatscht haben.

    Was sonst noch ne Lösung für Linux ist: google-drive-ocamlfuse - ist aktiv in der Entwicklung und multithread fähig.

  20. #14
    THEMENSTARTER

    Avatar von syrius
    Registriert
    Mar 2015
    Beiträge
    2,124
    Gefällt mir!
    1,233
    Du gefällst: 2,816
    @Cappa

    google-drive-ocamlfuse setzen wir auch ein und testen aktuell noch mit den Parametern. Auf den angebundenen Slave innerhalb eines VLAN's (Master / Slave) kommen wir aktuell auf 8-14mb/s. Slave und Master sind mit VMXNET3 Treiber (10Gbit) angebunden.

    Also folgende Struktur

    Server
    • Debian Jessie, 6GB-RAM, 1G Internet / 10G VLAN
    • Windows 2008 R2 (SP1), 10GB-RAM, 1G Internet / 10G VLAN


    Anwendungen
    • ESXi / VLAN 10G
    • DrFTPD-Master (ocamlfuse): Debian Jessie
    • DrFTPD-Slave (netdrive): Windows 2008 R2 (SP1)
    • NetDrive


    Flow-Facts
    • Client <-> DrFTPD-Master <-> google-drive-ocamlfuse <-> GoogleDrive
      • Up/Down: 4-6mb/s

    • Client <-> DrFTPD-Master <-> DrFTPD-Slave <-> NetDrive <-> GoogleDrive
      • ​Up/Down: 8-14mb/s


    Auf was ich eben noch aufmerksam wurde, ist ein Paket namens "overGrive" in Verbindung mit Ubuntu... ich denke es handelt sich hier um das Cloud-Thema bzgl. was du angesprochen hast. Sollte sich sicher auch in der Commandozeile damit arbeiten lassen. Das werden wir anschließend noch teste.

    Außerdem habe ich gestern noch einen riesen Bericht über StableBit's DriveCloud geschrieben (leider nicht mehr im Zwischenspeicher). Das uns bislang unbekannte Programm haben wir ausgiebig getestet und mussten das ganze mit großer Enttäuschung nach 18 Stunden akkordarbeit beenden. Danke an dieser Stelle an FLX und CNX für die Unterstützung.
    SzeneBox.org bei Telegram https://t.me/szenebox

  21. Diesen Mitgliedern gefällt dieser Beitrag:

    Gnu

  22. #15
    Junior
    Registriert
    Mar 2016
    Beiträge
    30
    Gefällt mir!
    6
    Du gefällst: 17
    Zitat Zitat von Syrius Beitrag anzeigen
    Hast du da weitere Quellen dazu? Hab nämlich mal eben gesucht aber nichts gefunden.
    Ich tippe mal auf diese Möglichkeit der Integration:
    Use GNOME 3.18 Google Drive Integration Feature In Unity, Xfce And Other Desktop Environments [Ubuntu 16.04] ~ Web Upd8: Ubuntu / Linux blog

Seite 1 von 6 123 ... LetzteLetzte

Ähnliche Themen

  1. [SUCHE] Dedicated Root Server BTC Zahlbar
    Von unreal im Forum Szene Daily Talk & OffTopic
    Antworten: 7
    Letzter Beitrag: 22.06.2018, 19:03
  2. (Suche) - ...(auto) reuppen von externen Server und regelmäßiges ersetzen von Links.
    Von daswuerstchen im Forum Entwickler / IT-Techniker
    Antworten: 37
    Letzter Beitrag: 01.04.2018, 08:12

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  
SzeneBox.org... im Mittelpunkt der Szene!
© since 2015 szeneBOX.org - All Rights Reserved
Domains: www.szenebox.org