Rclone / Plex optimieren

[ChAiN SaW]

Hallo,

ich benutze einen Debian vServer mit 8 Kernen, 16 GB RAM, 400 GB SSD und 400 MBit Anbindung und habe GDrive per Rclone eingebunden. Leider laden die Filminfos und der Film am Anfang ca. 30 Sekunden. Ich besitze eine 100 Mbit Leitung und das Problem tritt sowohl bei 1080p als auch 4K Filmen auf. Transcoding ist deaktiviert. Die Daten schieb ich über einen Windows Server auf das GDrive.
Ab und an stoppt der Film auch komplett, in der Zeit lädt der Server auch keine Dateien. Der Netzwerkgraph ist zu dieser Zeit komplett auf 0 und läuft nach einigen Sekunden wieder.


rclone mount Plexcache: /mnt/plexcache --allow-other --cache-db-purge --fast-list --poll-interval 1m --daemon


[Plexcache]
type = cache
remote = Plex:
plex_url = ****
plex_username = ****
plex_password = *** ENCRYPTED ***
chunk_size = 10M
info_age = 1h0m0s
chunk_total_size = 10G

Welche Parameter kann ich hier noch optimieren um ein bessere Nutzererlebnis zu erreichen?

[masterholdy]

rclone mount gmovie: M: --allow-other --allow-non-empty --cache-db-purge --buffer-size 32M --use-mmap --dir-cache-time 72h --drive-chunk-size 16M --timeout 1h --vfs-cache-mode minimal --vfs-read-chunk-size 128M --vfs-read-chunk-size-limit 1G &



[gmovie]
type = cache
remote = gdrive:/Filme/
plex_url = http://127.0.0.1:32400/
plex_username =
plex_password =
chunk_size = 10M
info_age = 1d
chunk_total_size = 10G
plex_token =

so waren damals meine settings und ich hatte keine probleme, kannst du ja mal testen

[ChAiN SaW]

Besten Dank, ich habs bei mir mal umgeändert und behalte es im Auge. Scheinbar treten die Ruckler nur bei der Nvidia Shield und den Sony Android TVs auf. Hat hier jemand ähnliche Probleme?
Mit meinem LG gehts ohne Probleme, aber der kann halt leider kein DTS, daher die Shield.

[Finch]

Kann sonst Plexdrive empfehlen, ist zwar bei größeren Archiven mit einer längeren Einrichtungszeit verbunden aber funktioniert tadellos.

Bei Plex den IPv6 Support abschalten, Transkodierung anpassen und den Cache auf /tmp/ setzen (bzw. in den RAM)

[ChAiN SaW]

Transcode ist aus und und konvertieren ausgeschaltet. IPv6 hab ich mal testweise deaktiviert.

[zerox]

Kodi + Plex Plugin, alles andere ist Spielerei.
Kodi läuft auf allen Plattformen und kann alle Formate abspielen.

[ChAiN SaW]

Hallo,

ich benutze einen Debian vServer mit 8 Kernen, 16 GB RAM, 400 GB SSD und 400 MBit Anbindung und habe GDrive per Rclone eingebunden. Leider laden die Filminfos und der Film am Anfang ca. 30 Sekunden. Ich besitze eine 100 Mbit Leitung und das Problem tritt sowohl bei 1080p als auch 4K Filmen auf. Transcoding ist deaktiviert. Die Daten schieb ich über einen Windows Server auf das GDrive.
Ab und an stoppt der Film auch komplett, in der Zeit lädt der Server auch keine Dateien. Der Netzwerkgraph ist zu dieser Zeit komplett auf 0 und läuft nach einigen Sekunden wieder.


rclone mount Plexcache: /mnt/plexcache --allow-other --cache-db-purge --fast-list --poll-interval 1m --daemon


[Plexcache]
type = cache
remote = Plex:
plex_url = ****
plex_username = ****
plex_password = *** ENCRYPTED ***
chunk_size = 10M
info_age = 1h0m0s
chunk_total_size = 10G

Welche Parameter kann ich hier noch optimieren um ein bessere Nutzererlebnis zu erreichen?

Hallo,
ich habe seit neustem ab und an das Problem das die Verbindung wie in den Bildern auf 0 fällt. Merken tue ich das es am TV "buffert", sobald es weitergeht schnellt die Übertragung auf das Maximum nach oben und es läuft weiter wie geschmiert. Wie kann ich es vermeiden das der Server auf 0 fällt? Scheinbar gibt es da ja kurze Verbindungsprobleme zu Gdrive, da ich währenddessen keine Aussetzer auf Gameservern oder TS-Servern, die auf dem gleichen System laufen , habe.

[mignom]

Moin!

Ich nutze diese Settings: --allow-other --default-permissions --read-only --dir-cache-time 1m --max-read-ahead 1M --buffer-size 512M

bg mignom

[ChAiN SaW]

Moin!

Ich nutze diese Settings: --allow-other --default-permissions --read-only --dir-cache-time 1m --max-read-ahead 1M --buffer-size 512M

bg mignom

Was sagen die Parameter aus und welche davon könnte mir helfen?

Und gibt es die Möglichkeit die Clients zu zwingen mehr zu vorzuladen um sowas abzufangen?

[penta]

Hier meine systemd service file


[Unit]
Description=Gmedia RClone Mount Service
After=network-online.target

[Service]
Type=notify
ExecStart=/usr/bin/rclone mount \
--config=/root/.config/rclone/rclone.conf \
--log-level=INFO \
--log-file=/opt/rclone/logs/rclone-mount-gd.log \
--user-agent=gdprv \
--umask=002 \
--gid=1002 \
--uid=1000 \
--allow-other \
--timeout=1h \
--poll-interval=10m \
--dir-cache-time=1000h \
--cache-dir=/opt/rclone/cache/gmedia \
--vfs-cache-mode=full \
--vfs-cache-max-size=200G \
--vfs-cache-max-age=48h \
gdc: /mnt/gmc
ExecStop=/bin/fusermount -uz /mnt/gmc
Restart=on-abort
RestartSec=5
StartLimitInterval=60s
StartLimitBurst=3

[Install]
WantedBy=multi-user.target


Kannst du mit
nano /etc/systemd/system/<dein_servicename>.service kopieren und dann mit
[sudo] systemctl enable --now <dein_servicename>.service starten und wird automatisch gemountet bei systemstart.

[ChAiN SaW]

Danke erstmal.
Hab jetzt Mal auf --buffer-size 512M gestellt und es sieht ganz gut aus.

Der Scan dauert jetzt aber mehrere Stunden statt wie vorher ca. 1 h.
Geht um ca. 8000 Filme in 4k, 1080p und SD.

Kann man den Scanvorgang verkürzen?

[mignom]

Hier meine systemd service file
[...]


Find ein rclone service file auch super. Hab es selbst auch im Einsatz. Ausführlich erklärt wird es hier: https://github.com/rclone/rclone/wiki/Systemd-rclone-mount

Inkl Berechtigungseinstellungen (access control), auto-mounting und der wichtigen loginctl enable-linger Einstellung. Top beschrieben alles.

bg mignom

[zerox]

Moin!

Ich nutze diese Settings: --allow-other --default-permissions --read-only --dir-cache-time 1m --max-read-ahead 1M --buffer-size 512M

bg mignom

Also die Einstellungen sind nicht wirklich geeignet für GDrive / Plex Mount.

Und die Einstellungen von penta eigenen sich auch nicht für viele Server. Alleine schon
--vfs-cache-mode=full -- heißt alles wird zuerst auf die Server / VPS Platte kopiert, nichts wird gestreamt
--vfs-cache-max-size=200G -- 200 GB werden belegt, einige Server haben nicht mal so viel Speicher

Ich hoffe die Leute kopieren hier nicht blind irgendwelche Einstellungen.

Meine Einstellungen hier sind für einen VPS der mindestens 20 GB hat und gut geeignet für ein Plex Mount.

## mount plex

rclone mount gsuite:/ /home/plex/gsuite --umask 0 --fast-list --allow-other --use-mmap --no-modtime --dir-cache-time 24h --attr-timeout 24h --poll-interval 30s --vfs-cache-mode writes --vfs-cache-max-age 6h --vfs-cache-max-size 10G --vfs-write-back 10s --drive-acknowledge-abuse

[penta]

--vfs-cache-mode=full -- heißt alles wird zuerst auf die Server / VPS Platte kopiert, nichts wird gestreamt

Das stimmt nicht. Ich hab 30GB 4K Movies die fangen nach 2 sekunden an zu laufen. Die Option bewirkt nur, dass Dateien die von und zu dem Mount gehen gecached werden, für zukünftige Zugriffe. Es wird also gestreamt.


rclone mount gsuite:/ /home/plex/gsuite --umask 0 --fast-list --allow-other --use-mmap --no-modtime --dir-cache-time 24h --attr-timeout 24h --poll-interval 30s --vfs-cache-mode writes --vfs-cache-max-age 6h --vfs-cache-max-size 10G --vfs-write-back 10s --drive-acknowledge-abuse

Ist sicher für schwächere Server/VPS gut. Würde die Dir Cache Time aber auf mind. 1000-9999h lassen. Da Google Dir Polling unterstützt werden nur Veränderungen eingetragen und der Rest kann im Cache bleiben. Vor allem bei Google Mounts mit Tausenden von Dirs und Dateien ist das sinnvoll, sodass Plex oder ein anderes Mediencenter nicht die großzügigen Google API Limits hitten.

[zerox]

Das mag ja sein das Plex dann die Teile die bereits auf deinen Server heruntergeladen sind auch direkt anfängt abzuspielen und trotzdem ist meine Aussage korrekt. Es steht dick und fett in der Rclone Dokumentation: https://rclone.org/commands/rclone_mount/#vfs-cache-mode-full

"--vfs-cache-mode full
In this mode all reads and writes are buffered to and from disk."

Das einzige was da bei dir streamt ist dein PLex Client von der halb fertig heruntergeladenen Datei und trotzdem lädt er bei dir immer alles zuerst auf deinen Server. Heißt du schaust einen 40 GB Film an, am Ende liegen die 40GB auf der Platte deines VPS. Mit meinen Einstellungen passiert das nicht, dort streamt er die Datei vom GDrive. Die Einstellung bei mir ist halt für kleine VPS optimiert.

Der Vorteil bei deiner Einstellung ist wenn mehrer den Film anschauen versetzt oder am selben Tag dann nimmt er das natürlich von der Platte und lässt GDrive in ruhe. Also klar wenn dein Server groß genug ist kann man das schon so machen.

[ChAiN SaW]

Find ein rclone service file auch super. Hab es selbst auch im Einsatz. Ausführlich erklärt wird es hier: https://github.com/rclone/rclone/wiki/Systemd-rclone-mount

Inkl Berechtigungseinstellungen (access control), auto-mounting und der wichtigen loginctl enable-linger Einstellung. Top beschrieben alles.

bg mignom

Was ist der Vorteil eines Servicefiles?

- - - - - - - - - - Beitrag nachträglich erweitert - - - - - - - - - -


Also die Einstellungen sind nicht wirklich geeignet für GDrive / Plex Mount.

Und die Einstellungen von penta eigenen sich auch nicht für viele Server. Alleine schon
--vfs-cache-mode=full -- heißt alles wird zuerst auf die Server / VPS Platte kopiert, nichts wird gestreamt
--vfs-cache-max-size=200G -- 200 GB werden belegt, einige Server haben nicht mal so viel Speicher

Ich hoffe die Leute kopieren hier nicht blind irgendwelche Einstellungen.

Meine Einstellungen hier sind für einen VPS der mindestens 20 GB hat und gut geeignet für ein Plex Mount.

## mount plex

rclone mount gsuite:/ /home/plex/gsuite --umask 0 --fast-list --allow-other --use-mmap --no-modtime --dir-cache-time 24h --attr-timeout 24h --poll-interval 30s --vfs-cache-mode writes --vfs-cache-max-age 6h --vfs-cache-max-size 10G --vfs-write-back 10s --drive-acknowledge-abuse

Ich hatte kürzlich das probiert: /mnt/plexcache --allow-other --cache-db-purge --poll-interval 30s --vfs-cache-mode full --buffer-size 512M --daemon

Aber cache full und buffer size 512 haben meinen Server gekillt. Der Scan hat so unendlich lange gedauert.
Cache full habe ich schon entfernt, das mit der buffer size werde ich auch killen. Scan dauert einfach zu lange. Schade das es on-the-fly kein Scan für veränderte Dateien bei Gdrive Mounts gibt.

Werde es als nächstes mal mit ner Kombi aus deinem und meinem probieren:

rclone mount gsuite:/ /home/plex/gsuite --allow-other --use-mmap --no-modtime --dir-cache-time 1000h --attr-timeout 24h --poll-interval 30s --vfs-cache-max-age 6h --vfs-cache-max-size 10G --vfs-write-back 10s --drive-acknowledge-abuse --daemon

[sfreak]

Danke erstmal.
Hab jetzt Mal auf --buffer-size 512M gestellt und es sieht ganz gut aus.

Der Scan dauert jetzt aber mehrere Stunden statt wie vorher ca. 1 h.
Geht um ca. 8000 Filme in 4k, 1080p und SD.

Kann man den Scanvorgang verkürzen?

nano /etc/sysctl.d/40-max-user-watches.conf

fs.inotify.max_user_watches=524288

sysctl --system

und schon gehts immens schneller, und btw. euer --fast-list bringt bei nem mount null

cheers

[penta]

Was ist der Vorteil eines Servicefiles?


Wie ich bereits schrieb. Der Mount wird bei reboots vollautomatisch erledigt.



Aber cache full und buffer size 512 haben meinen Server gekillt. Der Scan hat so unendlich lange gedauert.

--dir-cache-time 9999h

Das ist fuer dich wichtig, erster Scan dauert lange.
Dieser Wert gibt an wie lange sich rclone die Ordnerstruktur deines Drives merkt. Wenn der Wert auf 24h ist, vergisst er einmal komplett alles und muss neu einlesen




Scan dauert einfach zu lange. Schade das es on-the-fly kein Scan für veränderte Dateien bei Gdrive Mounts gibt.

--poll-interval 30s

Alle 30 Sekunden werden dabei nur neue Ordner und Files vom Google Drive gezogen und Plex scannt innerhalb von Sekunden. Natürlich erst nach dem ersten initialen Scan.

[sfreak]

Besten Dank, ich habs bei mir mal umgeändert und behalte es im Auge. Scheinbar treten die Ruckler nur bei der Nvidia Shield und den Sony Android TVs auf. Hat hier jemand ähnliche Probleme?
Mit meinem LG gehts ohne Probleme, aber der kann halt leider kein DTS, daher die Shield.

Android hat Probleme wenn die Bitstream Parameter nicht richtig gesetzt sind, such mal die Einstellung Wiederholraten und schalte sie um auf an oder aus, je nachdem wie das aktuelle Setting ist und check dann nochmal ein file was ruckelt.

cheers

[ChAiN SaW]

nano /etc/sysctl.d/40-max-user-watches.conf

fs.inotify.max_user_watches=524288

sysctl --system

und schon gehts immens schneller, und btw. euer --fast-list bringt bei nem mount null

cheers

Hab die Datei in dem Ordner nicht. Muss ich die erst neu anlegen. Ich nutze Debian 11.

Wollte jetzt folgenden Mount machen:

rclone mount Plexcache: /mnt/plexcache --allow-other --no-modtime --dir-cache-time 9999h --attr-timeout 24h --poll-interval 30s --vfs-cache-max-age 6h --vfs-cache-max-size 10G --vfs-write-back 10s --drive-acknowledge-abuse --buffer-size 128M --daemon
Bekomme aber einen Error: unknown flag für:
--use-mmap
--vfs-cache-max-size
--vfs-write-back

[sfreak]

Hab die Datei in dem Ordner nicht. Muss ich die erst neu anlegen. Ich nutze Debian 11.

Wollte jetzt folgenden Mount machen:

rclone mount Plexcache: /mnt/plexcache --allow-other --no-modtime --dir-cache-time 9999h --attr-timeout 24h --poll-interval 30s --vfs-cache-max-age 6h --vfs-cache-max-size 10G --vfs-write-back 10s --drive-acknowledge-abuse --buffer-size 128M --daemon
Bekomme aber einen Error: unknown flag für:
--use-mmap
--vfs-cache-max-size
--vfs-write-back


Einfach den nano befehl mit dem dateipfad ausführen und das

fs.inotify.max_user_watches=524288

in die datei einfügen, speichern und sysctl befehl ausführen, und vorallem am besten ohne dir zu nahe zu treten zu wollen in linux ein wenig einlesen.

die inotifys sind zb. wichtig damit damit dein sys die fuse inodes auch sauber erkennt und speichert weil standard kernel einstellung ist 8192.

und mal nen kleiner mount tip von mir

rclone mount deinepfade --allow-other --read-only --vfs-read-chunk-size 128M --vfs-read-ahead 2G --vfs-cache-mode full --vfs-cache-max-size 3000G --vfs-cache-max-age 336h --cache-dir /mnt1/rclonecache --log-level INFO --log-file /var/log/rclone.log --vfs-cache-poll-interval 30m --drive-v2-download-min-size 0 --dir-cache-time 9999h --poll-interval 30m --devname /dev/mapper/plex

cache size wie auch zeiten sind natürlich anzupassen.

und ja ich nutze weder systemd service noch daemon, daemon führt teils zu problemen und systemd service geht nur wenn die conf uncrypted ist, was ich als unsecure ansehe.
deswegen wird der mount im screen gestartet. Deweiteren solltest du dein plex einstellen evtl. hast du intro & end credits marker erkennen an genauso wie media analyse,
die media analyse beim einlesen reicht und eine ausführliche führt nur dazu das er jedes mal das komplette file scannt sprich downloaded.

Rennt 1a mit mit knapp 70000 serien folgen knapp 25000 filmen und nen scan dauert keine 5mins pro section und es startet alles innerhalb 2-4s

cheers

P.S. Noch nen kleiner Tip für SSL Junkies wie ich einer bin, wo LG/Samsung TV's aufgrund der Lets Encrypt Problematik keine secure Connections mehr zulassen, eigene domain + zerossl cert und schon funktioniert alles wieder in sicherer Umgebung.

[penta]

Rennt 1a mit mit knapp 70000 serien folgen knapp 25000 filmen und nen scan dauert keine 5mins pro section und es startet alles innerhalb 2-4s

cheers

P.S. Noch nen kleiner Tip für SSL Junkies wie ich einer bin, wo LG/Samsung TV's aufgrund der Lets Encrypt Problematik keine secure Connections mehr zulassen, eigene domain + zerossl cert und schon funktioniert alles wieder in sicherer Umgebung.

Dein Drive ist crypted? Wieviel GB ist auf deinem Drive? Google right? Bei soviel klingt das wie in meinem Scale. Wurde dir auch ab 500TB bei crypted gdrives die accs gecancelt? Hab ich schon 3 mal gehabt bisher, aber nur auf crypted content. Bei accs wo's unencrypted ist, scheint Google durch deduping es nicht zu stören.

Und der Tip ist super

[sfreak]

Dein Drive ist crypted? Wieviel GB ist auf deinem Drive? Google right? Bei soviel klingt das wie in meinem Scale. Wurde dir auch ab 500TB bei crypted gdrives die accs gecancelt? Hab ich schon 3 mal gehabt bisher, aber nur auf crypted content. Bei accs wo's unencrypted ist, scheint Google durch deduping es nicht zu stören.

Und der Tip ist super

Sowohl Gdrive als auch Dropbox als Backup, ich hab zwei drives grandfathered und weit mehr als 500tb liegen und da wurde nix canceld weil ich weder teamdrive noch extern share
Und ich benutze kein driss wie service accounts, weil das ist des Prob nämlich

cheers

[ChAiN SaW]

Einfach den nano befehl mit dem dateipfad ausführen und das

fs.inotify.max_user_watches=524288

in die datei einfügen, speichern und sysctl befehl ausführen, und vorallem am besten ohne dir zu nahe zu treten zu wollen in linux ein wenig einlesen.

die inotifys sind zb. wichtig damit damit dein sys die fuse inodes auch sauber erkennt und speichert weil standard kernel einstellung ist 8192.

und mal nen kleiner mount tip von mir

rclone mount deinepfade --allow-other --read-only --vfs-read-chunk-size 128M --vfs-read-ahead 2G --vfs-cache-mode full --vfs-cache-max-size 3000G --vfs-cache-max-age 336h --cache-dir /mnt1/rclonecache --log-level INFO --log-file /var/log/rclone.log --vfs-cache-poll-interval 30m --drive-v2-download-min-size 0 --dir-cache-time 9999h --poll-interval 30m --devname /dev/mapper/plex

Habs glaube gefunden und mal in den Anhang gepackt.



cache size wie auch zeiten sind natürlich anzupassen.

und ja ich nutze weder systemd service noch daemon, daemon führt teils zu problemen und systemd service geht nur wenn die conf uncrypted ist, was ich als unsecure ansehe.
deswegen wird der mount im screen gestartet. Deweiteren solltest du dein plex einstellen evtl. hast du intro & end credits marker erkennen an genauso wie media analyse,
die media analyse beim einlesen reicht und eine ausführliche führt nur dazu das er jedes mal das komplette file scannt sprich downloaded.

Rennt 1a mit mit knapp 70000 serien folgen knapp 25000 filmen und nen scan dauert keine 5mins pro section und es startet alles innerhalb 2-4s

cheers

P.S. Noch nen kleiner Tip für SSL Junkies wie ich einer bin, wo LG/Samsung TV's aufgrund der Lets Encrypt Problematik keine secure Connections mehr zulassen, eigene domain + zerossl cert und schon funktioniert alles wieder in sicherer Umgebung.

Ok, dann werde ich eine neuen Datei erstellen und dort " fs.inotify.max_user_watches=524288" eintragen, da es dieD Datei wie gesagt noch nicht gibt. Aktuell läuft immernoch der Scan den ich gestern mit der neuen Config gestartet hatte. Aber da sollte ich ja trotzdem sysctl ausführen können oder?

Ich werde mir deinen Mount mal genau anschauen, aber wieso hast du --vfs-cache-poll-interval 30m und nicht wie viele andere 1m oder 30s?

Weißt du warum er manche Optionen im mount bei mir nicht annimmt und einen Error wirft?

Mein Drive ist auch nicht cryptet.

Aber erstmal vielen Dank an euch und besonders an dich @sfreak, das du so viel Geduld mit mir hast. So kann ich mein Wissen über Linux gut erweitern.