[gelöst] Ordner zwischen 2 PCs (Windows und Debian) synchronisieren

[AxelMD]

Hallo Debianer,

welche Software bietet sich an um Ordner zwischen 2 PCs (Windows und Debian) zu synchronisieren?

Mein jetziger Favorit ist Syncthing viewtopic.php?t=187548&hilit=syncthing

Welche Alternativen gibt es?

MfG

AxelMD

[rjh]

Welche Alternativen gibt es?

Unison. https://wiki.debian.org/Unison

[schwedenmann]

Hallo


Du kannst auch rsync nehmen

rsync für Windows gibt es,ansonsten unter Windows cgwin installieren und dort rsync und ssh installieren.


mfg
schwedenmann

[MSfree]

Du kannst auch rsync nehmen

Spätestens, wenn ein dritter Rechner oder ein NAS ins Spiel kommt, wie in AxelMDs Ursprungsthread erwähnt:

Mein jetziger Favorit ist Syncthing viewtopic.php?t=187548&hilit=syncthing

wird es kompliziert. Ständig jedes mit jedem zu synchronisieren erhöht den Aufwand um den Faktor:

Code: Alles auswählen

m = n*(n-1)/2 // n=Anzahl Rechner

Der Aufwand steigt also quadratisch mit der Anzahl der beteiligten.

Man sollte sich das Leben lieber einfach machen und auf Synchronisation komplett verzichten. Es ist doch kein Problem, alle Daten auf dem NAS zu halten und das NAS per SMB oder NFS auf die Clients zu mounten. Dann arbeitet man immer auf der einzigen Zentralkopie. Das NAS muß natürlich regelmässig gesichert werden, aber das läßt sich mit einem zweiten NAS (im Notfall sogar eine externe Festplatte) und rsync ganz hervorragend automatisieren.

Überhaupt, eine von Hand angestossene Synchronisierung ist alles andere als ideal, das wird auch mal vergessen oder aufgeschoben, weil es gerade mal wieder "wichtigeres" zu tun gibt.

Und bevor der Einwand kommt, daß man dann unterwegs keinen Zugriff hat, das läßt sich mit VPN (OpenVPN, OpenSwan, strongSwan, WireGuard, such's die aus) auch via Mobilfunk erreichen.

[AxelMD]

Man sollte sich das Leben lieber einfach machen und auf Synchronisation komplett verzichten.
Es ist doch kein Problem, alle Daten auf dem NAS zu halten und das NAS per SMB oder NFS auf die Clients zu mounten.

Das war auch schon meine Überlegung.

Wie sieht es aus, wenn das Heimnetz (wlan) langsam ist?

Wie machst Du es, wenn Du außer Haus gehst und das Notebook kein Internet hat?

[MSfree]

Wie sieht es aus, wenn das Heimnetz (wlan) langsam ist?

Mein WLAN ist mir immer noch schnell genug, obwohl hier immer noch ein 10 Jahre alter Accesspoint mit WLAN-n (max 300MBit/s brutto, entspricht etwa 18MByte/s netto) arbeitet. Die nicht portablen Kisten sind ohnehin mit GBit verkabelt.

Die Frage ist halt, was du als lahm bezeichnest und wo es ggfls. nervend wird.

Wie machst Du es, wenn Du außer Haus gehst und das Notebook kein Internet hat?

Ich schalte die Hotspot-Funktion meines Smartphones an und verbinde mein Notebook per WLAN mit dem Smartphone. Darüber fahre ich normalerweise eine SSH-Verbindung nach Hause, über die ich alle relevanten Ports tunnele, ide ich brauch, um an meinen Server zu kommen. (Statt SSH und Tunnelsetup kann man auch eine der o.g. VPN-Lösungen nehmen)

[gatnnos]

Wie machst Du es, wenn Du außer Haus gehst und das Notebook kein Internet hat?

Dann hab ich die Daten dabei. Dank Nextcloud wird auf lokal synchronisiert und extern sind die Daten vorhanden. Natürlich ist die Platte verschlüsselt, die Daten sind es auch nochmal.

[AxelMD]

Nextcloud hat dort nicht ausgereicht ---->

Syncthing
Ein verbreitetes Problem bei der Zusammenarbeit in Projekten, ist das Synchronisieren von Dateien zwischen mehreren Rechnern. Damit alle im Team mitarbeiten können, müssen digitale Dateien (wie etwa Präsentationen und Videomaterial für Veranstaltungen, Angebote, Rechnungen, etc) zwischen all unseren Rechner synchron gehalten werden.

https://eventbikezero.de/doku/software/syncthing/

Duplicati

https://www.igorslab.de/community/threa ... post-32854

duplicati
Das ist von Haus aus eine Backup-Lösung. Man kann sagen wie viele Backups man aufheben möchte. Weiterhin kann man sich recht bequem die vorhandenen Backupsätze ansehen und wiederherstellen. Der Clou von Duplicati ist, dass die Dateien in Chunks (Blöcke) zerlegt werden. Es werden nur die dynamisch berechneten Chunks gespeichert und nicht die eigentliche Datei. Wenn sich eine Datei nur etwas ändert, dann ändern sich nicht alle Chunks. Es müssen nur die Chunks gepeichert werden, welche neu sind. Dadurch kann man mit relativ wenig Platz sehr viele Backups aufheben. Wenn man eine Datei 3 mal rum liegen hat, dann nimmt sie nur einmal Platz im Backup weg. Da die selben Chunks verwendet werden.

https://github.com/OpenMediaVault-Plugi ... ree/master

Evtl. doch das OMV NAS ständig laufen lassen und nicht direkt syncen?

Für ein eventuelles Android Device muss dann eine andere Lösung her.

https://github.com/duplicati/duplicati

The latest version of Duplicati is a beta version for the Duplicati 2.0 release.

beta halte ich für ungeeignet.


Dann bin ich fast wieder bei Syncthing.

[uname]

Im Firmenumfeld wird meist Microsoft 365 verwendet, um kollaborativ zu arbeiten. Die Idee mit Nextcloud war gut und ermöglicht eine einfache Erweiterung auf mehr Geräte. Eine zentrale Stelle ermöglicht auch ein zentrales Backup. Synchronisierte Daten aber auch NAS oder Nextcloud selbst sind kein Backup.

[AxelMD]

Hallo,

welche Vorteile seht Ihr von Nextcloud auf dem NAS gegenüber Syncthing auf dem NAS?

Ist der Wartungsaufwand bei Nextcloud https://docs.nextcloud.com/server/lates ... _sync.html nicht größer?

0rpheus schreibt auf igorslab.de

Ich hole einmal etwas mehr aus. Ein Backup ist eine unveränderliche Datensicherung, welche vor Hardwareausfällen, dicke Finger und sonstige Missgeschicke schützt. Da ein einzelnes Backup unveränderlich sein sollte, muss man immer ein neues Backup anlegen. Alles andere ist nur eine Kopie von Daten.

rsync normal laufen lassen
rsync -av original/ backup/ Der gesamte Inhalt vom Verzeichnis original/ wird in das Verzeichnis backup/ kopiert. Wenn sich eine Datei im Verzeichnis original/ ändert, dann wird sie im Verzeichnis backup/ überschrieben. Das kann sehr ungeschickt sein, wenn eine Datei ausversehen ändert oder wenn man sich einen Cryprotrojaner einfängt. Wenn eine Datei im Original gelöscht wird, dann bleibt sie im Backup bestehen. Man hat also nur eine Kopie der Daten. Wenn man einen Fehler erst nach einem "Backup" bemerkt hat, dann ist es zu spät.

rsync als Backup missbrauchen
rsync -av rsync -av --backup-dir=backup/$(date +%F_%H-%M) original/ backup/ Das funktioniert im Grunde genommen wie oben, aber sämtlich Dateien werden vor dem überschreiben ein ein separates Verzeichnis kopiert, z.B. backup/2019-09-24_13-30. Dieses wird bei Bedarf automatisch angelegt. So ist sicher gestellt, dass man keine alten Daten überschreibt. Man muss ggf. ab und zu die alten Backupverzeichnisse löschen.

duplicati
Das ist von Haus aus eine Backup-Lösung. Man kann sagen wie viele Backups man aufheben möchte. Weiterhin kann man sich recht bequem die vorhandenen Backupsätze ansehen und wiederherstellen. Der Clou von Duplicati ist, dass die Dateien in Chunks (Blöcke) zerlegt werden. Es werden nur die dynamisch berechneten Chunks gespeichert und nicht die eigentliche Datei. Wenn sich eine Datei nur etwas ändert, dann ändern sich nicht alle Chunks. Es müssen nur die Chunks gepeichert werden, welche neu sind. Dadurch kann man mit relativ wenig Platz sehr viele Backups aufheben. Wenn man eine Datei 3 mal rum liegen hat, dann nimmt sie nur einmal Platz im Backup weg. Da die selben Chunks verwendet werden.

Mir rsync wird es zu komplex, siehe Statement MSfree zuvor?
Mit rsync gibt es wieder Probleme mit Windows, rsync ist nicht nativ für Windows verfügbar.

Evtl. doch Unison auf dem NAS?
Unison gibt es für Linux und Windows und ist bewährt.
Unison verwendet "unter der Haube" rsync.

Oder noch eine Lösung freefilesync https://freefilesync.org/
Ist freefilesync für ein OpenMediaVault NAS (Debian 11) geeignet?
strobelstefan Anleitung https://strobelstefan.de/2020/08/06/ope ... onisieren/

MfG

Axel

[uname]

Ist der Wartungsaufwand bei Nextcloud https://docs.nextcloud.com/server/lates ... _sync.html nicht größer?

Ja. Nextcloud ist eine Lösung, die weit mehr bietet als was du benötigst. Ist vielleicht wirklich nicht geeignet. Nachteil ist auch, dass sie als Protokoll WebDAV nutzt. Leider habe ich auch manchmal Probleme mit der Synchronisation von Dateien. Um aber offline Verzeichnisstrukturen der Nextcloud mitzunehmen, sind die Clients für z. B. mobile Geräte oder auch Linux geeignet. Auch nutze ich es gerne, um Daten von Mobilgeräten auch dem Desktop zu bearbeiten. Falls Du keine Nextcloud hast, kannst du dir ja einen kostenlosen Account im Internet anlegen. Aufgrund der Verwendung von WebDAV verhält sich Nextcloud im LAN genauso wie im Internet. Nur dass die Daten den Umweg über das Internet gehen. Aber du kannst ja mit unwichtigen Daten testen. Lies gerne hier.

unison scheint die Lösung für beidseitige Synchronisation zu sein. Mit SSH kann man das auch gut absichern.
Ich dneke mit rsync kann man auch was bauen.

Ich habe mir die aufgeführte Anleitung bzgl. freefilesync angeschaut. Ich denke wenn man über SMB/Cifs synchronisiert, ist das immer schlechter als die Verwendung von SSH bzw. rsync. Ähnlich schlecht wie SMB/Cifs ist WebDAV.

[AxelMD]

Nur dass die Daten den Umweg über das Internet gehen.

Das will ich gar nicht, meine Uploadrate ist sowieso viel zu gering.

Eine Nextcloud kann ich schnell selber aufsetzen.

Code: Alles auswählen

https://snapcraft.io/nextcloud
oder
https://hub.docker.com/_/nextcloud/

Meine Cloud soll nicht aus dem Internet zugänglich sein, als sollte ein alte Nextcloud genügen.
 

Ein native Nextcloud Installation kann ich installieren.

Mir geht der Hype um Nextcloud oft zu weit, deswegen suche ich eine bessere, zuverlässigere, einfachere Lösung.

Ich dneke mit Debianrsync kann man auch was bauen.

Das kann ich leider nicht betriebssicher.

Ich denke wenn man über SMB/Cifs synchronisiert, ist das immer schlechter als die Verwendung .....

Warum sollte das im loakalen Netz nicht so gut sein?



Zur Zeit schwanke ich zwischen Unison und Syncthing.

[MSfree]

Mir rsync wird es zu komplex, siehe Statement MSfree zuvor?

Ich meinte damit, daß wenn du mehr als zwei Maschinen mit rsync aktuell halten willst, mußt du jede Kiste mit jeder synchronisieren. Bei zwei Rechnern ist das ein rsync-Vorgang, bei 3 Rechnern bereits 2 Vorgänge, bei 4 Rechnern schon 6... halt n*(n-1)/2

Deshalb halte ich eine zentrale Datenstelle für sinnvoller. Man kann auf den Clietnrechnern komplett of Kopien verzichten. Nextcloud? Warum nicht? Das wäre auch eine Lösung.

Das Backup der zentralen Datenstelle ist natürlich trotzdem oder sogar erstrecht nötig. Das kann man aber sehr einfach mittels rsync auf eine Backupplatte oder ein zweites NAS bewerkstelligen. Daß man dazu rsync vergewaltigen muß, ist allerdings nicht der Fall, rsync würde ja unter anderem für Backups konzipiert.

[uname]

Das will ich gar nicht, meine Uploadrate ist sowieso viel zu gering.
Eine Nextcloud kann ich schnell selber aufsetzen.

Der Verweis auf eine öffentliche Nextcloud habe ich dir nur gegeben, damit du sie nicht selbst zum Test aufsetzen musst. Auch finde ich es grundsätzlich gut eine Nextcloud 24/7 irgendwo verfügbar zu haben (Bereitstellung von Ordnern/Dateien, Drop-Zone, ...). E-Mail ist ja auch 24/7 verfügbar.

Vielleicht etwas offtopic. Aber irgendwie lese ich ein paar Bedenken zu Clouds zwischen den Zeilen, die ich mal widerlegen bzw. relativieren möchte.

Bei Bedenken gegen eine Cloud bei einem Hoster wie der Telekom:
Die MagentaCLOUD unterscheidet sich nicht wirklich von Telekom E-Mail. Bei der Cloud werden die Ordner und Dateien in einer Verzeichnisstruktur abgelegt, bei E-Mail gibt es dafür E-Mail-Anhänge. Auch sind die Zugriffsprotokolle mit HTTPS, WebDAV vs. SMTP, IMAP unterschiedlich. Am Ende ist die Benutzerverwaltung ähnlich und auch die Anforderungen an den Datenschutz. Auf eine Cloud wie MagentaCLOUD zu verzichten ist nur dann sinnvoll, wenn man keine Cloud braucht oder selbst seine E-Mails hostet. Natürlich sollte man in der Cloud nur die Dateien speichern, die man auch in einem E-Mail-Anhang (an sich selbst oder andere) verschicken würde.

Cloud sicherer als E-Mail:
In Teilen kann eine Nextcloud wie MagentaCLOUD sogar sicherer als E-Mail sein. Anstatt z. B. Daten von seinem in Deutschland gehosteten E-Mail-Account in die USA z. B. zu Gmail des Empfänagers zu verschicken (weil ihm Datenschutz egal ist), kann sich der Empfänger unter Umständen die Daten in einer deutschen Nextcloud wie MagentaCLOUD direkt abholen.

[heisenberg]

Syncthing hatte ich auch schon mal im Einsatz bei ca. 4 Instanzen, die untereinander gesynct haben. Das hat irgendwann mal Probleme gemacht, da ist die Synchronisation weggeflogen und sobald das passiert gehen die Datenstände auseinander und man muss sehr aufpassen, dass man dann wieder alles synchronisiert bekommt. Das war im Zweifelsfall eher ein Bedienfehler von mir. Nichts desto trotz scheint mir die Synchronisation mit vielen Instanzen nicht so sehr robust zu sein.

Deswegen nehme ich von dem ganzen Sync-Zeug klar Abstand und habe das lieber zentral. Nextcloud kann ja auch lokal zwischenspeichern. Hier schaue ich selbst aber auch, dass ich im Offline-Modus möglichst keine Änderungen vornehme, weil sonst auch schnell wieder Bearbeitungskonflikte auftreten und möglicherweise verschiedene Datenstände, die man manuell zusammenführen muss.

[AxelMD]

Nextcloud kann ja auch lokal zwischenspeichern.

Was meinst Du damit?

[heisenberg]

Nextcloud kann ja auch lokal zwischenspeichern.

Was meinst Du damit?

Weiter oben war die Frage, wie man an die Daten kommt, wenn man kein Internet hat. Wenn die Daten vom Nextcloud-Client zwischengespeichert sind, dann hat man sie auf der Platte und kann diese lokal anschauen, auch ohne Internetverbindung.

[uname]

Ich nutze das z.B. für MP3-Dateien. Ich lade sie hoch in Nextcloud und synchronisiere sie zurück auf den Nextcloud-Client auf dem Smartphone. Alles noch im WLAN. Wenn ich die MP3 nicht mehr brauche lösche ich sie nur lokal (Smartphone) oder lokal und in der Cloud. Geht direkt vom Smartphone.

Ich nutze auch die App Audials für MP3. Aber einiges downloade ich aus dem Internet wie z.B. https://archive.org

Beispiel:
https://archive.org/details/tomsawyer_crow_librivox

[AxelMD]

Wenn die Daten vom Nextcloud-Client zwischengespeichert sind, dann hat man sie auf der Platte und kann diese lokal anschauen, auch ohne Internetverbindung.

Kann ich die Cachegröße festlegen?
Sagen wir mal so 5 GB, ist das möglich?

Was passiert, wenn eine Datei am Windows_PC und dann noch am Linux_PC bearbeitet wird?
Welche Datei wird behalten?

Welche Installationsvariante ist bei Nextcloud zu empfehlen?

Bei Flathub https://flathub.org/ gibt es kein Nextcloud.

Snapcraft,io https://snapcraft.io/nextcloud ?

Oder Docker https://hub.docker.com/_/nextcloud/ ?

Wo habe ich am wenigsten Aufwand?


Gibt es mit Unison auch oft Probleme?


Wie wird mein Anliegen bei Außendienstmitarbeitern von großen Firmen gelöst?

[uname]

Kann ich die Cachegröße festlegen?
Sagen wir mal so 5 GB, ist das möglich?

Ich glaube das geht nicht. Du kannst Ordner oder Dateien zur Synchronisation aktivieren.

Was passiert, wenn eine Datei am Windows_PC und dann noch am Linux_PC bearbeitet wird?
Welche Datei wird behalten?

Ohne Verbindung zum Server wird Nextcloud nicht wissen, was aktuell ist. Leider ist die Synchronisation sowieso nicht wirklich perfekt.

Welche Installationsvariante ist bei Nextcloud zu empfehlen?

Ich finde diese Anleitung sehr schön. Sie ist noch für Debian Bullseye geschrieben, funktioniert aber mit leichten Anpassungen auch für Debian Bookworm. Eigentlich ist Nextcloud eine normale LAMP-Software. Fast schon altmodisch, wobei es hochperformante Erweiterungen gibt, die nicht auf PHP setzen. Wahrscheinlich eher nichts für dich.

Wie bereits oben geschrieben, solltest du Nextcloud vielleicht erst ausprobieren. Du kannst dir auch z. B. unter https://liv.nl.tab.digital/apps/registration einen Account bei https://cloud.tab.digital anlegen. Benötigt wird nur eine E-Mail-Adresse, Account-Namen und ein Passwort. https://liv.nl.tab.digital, Accountname und Passwort sind dann die Zugangsdaten für den Nextcloud-Client und Nextcloud-Web-GUI. Den Account kannst du jederzeit innerhalb der Nextcloud-Web-GUI löschen. Dann sparst du dir den Installationsaufwand, wenn du nur mal eben kurz die Nextcloud-Clients (Web, Linux, Android, iOS, Windows, macOS) testen willst. Da ist dann der Frust nicht ganz so groß, dass es deine ursprünglichen Anforderungen vielleicht nicht erfüllt.

[heisenberg]

Kann ich die Cachegröße festlegen?
Sagen wir mal so 5 GB, ist das möglich?

Ich glaube das geht nicht. Du kannst Ordner oder Dateien zur Synchronisation aktivieren.

Doch das geht. So sieht das bei mir aus (Debian 12, Nextcloud 3.7.3):

Was passiert, wenn eine Datei am Windows_PC und dann noch am Linux_PC bearbeitet wird?
Welche Datei wird behalten?

Wenn ein gewisser - gerne auch nur eine sehr kleiner Zeitunterschied besteht, dass z. B. eine Bearbeitung auf Linux durchgeführt wird und anschließend die aktuelle, direkt synchronisierte Datei auf Windows bearbeitet wird, dann gibt es keinerlei Konflikte.

Wenn zwei Instanzen die gleiche Datei bearbeiten und eine Instanz (z. B. Windows) ist offline und synchronisiert erst später, dann wird der Upload verweigert, weil auf dem Server eine neuere Datei existiert. Dann musst Du selbst entscheiden, wie Du den Konflikt löst. D. h. entweder Dich für die eine oder die andere Datei entscheiden, oder Deine lokale Datei bearbeiten, so dass die Änderungen der Datei auf dem Server mit eingearbeitet werden.

Und Dateien sollten auf keinen Fall über längere Zeit auf irgend einem Gerät offen in der Applikation stehen.

Problemen kann man ggf. vorbeugen, wenn man anderen Usern, die das mit der Bearbeitungszeit vermutlich nicht richtig hinbekommen nur einen Browserzugang gibt. Damit ist die Gefahr, dass Dateien lange Zeit offen bleiben vermutlich nicht gegeben. In Kombination mit einer Browser-basierten Office-Anwendung (Collabora). Das ist aber wieder ein bisschen aufwändig.

Welche Installationsvariante ist bei Nextcloud zu empfehlen?

Wo habe ich am wenigsten Aufwand?

Wenn Du Dich mit Docker auskennst, ist docker gut. Du solltest halt regelmässige Updates (docker-compose pull / restart) durchführen, damit Du nicht irgendwann in Schwierigkeiten mit Updates kommst. (Ein direktes Upgrade über mehr als ein Major-Release funktioniert nicht.).

[uname]

Bzgl. Cache weiß ich gar nicht, ob sich das in der Android-Nextcloud-App konfigurieren lässt. Müsste ich mal suchen.

Bzgl. Docker fällt mir gerade noch die Version Nextcloud All in One ein.
GitHub nextcloud /all-in-one
Beachte die Einschränkungen z. B. bzgl. Nichtverwendung selbst-signierter Zertifikate.

[AxelMD]

Nextcloud ist ein echt schweres Geschütz für meinen einfachen Wunsch.
Nextcloud möchte ich nur als Fileserver nutzen, nicht mehr und nicht weniger.

Bei Apple soll das so easy funktionieren. :-(

Syncthing hatte ich auch schon mal im Einsatz bei ca. 4 Instanzen, die untereinander gesynct haben. Das hat irgendwann mal Probleme gemacht, da ist die Synchronisation weggeflogen und sobald das passiert gehen die Datenstände auseinander und man muss sehr aufpassen, dass man dann wieder alles synchronisiert bekommt. Das war im Zweifelsfall eher ein Bedienfehler von mir. Nichts desto trotz scheint mir die Synchronisation mit vielen Instanzen nicht so sehr robust zu sein.

Ich kann mich nicht entscheiden Syncthing oder Nextcloud.

Syncthing sollte auch, wie Nextcloud auf dem Openmediavault NAS laufen.

Ob dann die von Heisenberg beschriebenen Probleme auch auftreten können?

[gatnnos]

Bzgl. Cache weiß ich gar nicht, ob sich das in der Android-Nextcloud-App konfigurieren lässt. Müsste ich mal suchen.

In der Android App kann man bestimmte Ordner auswählen, die synchronisiert werden. Out of the Box wird AFAIR kein Ordner synchronisiert.

Mit Hilfe von WinSCP kann man auch synchronisieren von A nach und Retour.

[heisenberg]

Ich kann mich nicht entscheiden Syncthing oder Nextcloud.

Probiers Doch einfach eines aus. (Syncthing is das einfachere von beiden.) Wenn das eine zu viel Ärger macht, dann trete das in die Tonne und nimm das andere.