[geloest] rsync mit Strato HiDrive

[raiuns]

Hi alle, ich möchte gerne Backups "außer Haus" machen. Ich habe schon seit einiger Zeit ein HiDrive von Strato (online-Speicher). Erklärt für Linux ist das hier:

http://www.strato-faq.de/artikel.html?s ... e6&id=2286

Erstmal hat mich bei der Anleitung verwirrt, dass die Zugriffe "falschrum" erklärt sind, also ich möchte vom lokalen Rechner auf's Hidrive sichern und da steht es wohl umgekehrt, oder? geht das so wie ich es vorhabe?

Und dann meine eigentlicheFrage zu rsync: Braucht das rsync, bevor ich es benutzen kann, ein lokal "gemountetes" Verzeichnis für das HiDrive (das wäre wahrscheinlich ohnehin praktisch), oder kann der Rsync-Befehl (mit entspr. Optionen) selbst die Verbindung aufmachen und dann übertragen?

[schwedenmann]

Hallo


Wenn du dir die Stratobeispiele, den Text dazu und den link (ubunut + rsync) dir durchliest, wird vom lokalen PC auf das Stratodrive gesichert.

Braucht das rsync, bevor ich es benutzen kann, ein lokal "gemountetes" Verzeichnis für das HiDrive

meinst du sowas wie Datenfreigaben ?
Dann nein, gemountet sollte der Ordner in der fstab, oder manuell schon sein, wie will rsync sonst auf Dateiebene darauf zugreifen


mfg
schwedenmann

[raiuns]

danke, ich werde testen und berichten.

[stollenreiter]

Du kannst entweder das HiDrive lokal auf deinen PC mounten, oder per ssh adhoc drauf zugreifen.

fstab sieht bei mir so aus:

https://webdav.hidrive.strato.com/ /mnt/hidrive davfs rw,users,noauto 0 0

Lokal gemountet geht es aber schneller und verbraucht weniger RAM, da die Verschlüsselung bei der Übertragung per ssh wegfällt und du nicht noch den Schlüssel austauschen musst.

Kleiner Tip noch am Rande: ich habe auf dem HiDrive keine unverschlüsselten Daten liegen. Schau dir dazu mal encfs an. Sicher ist sicher.

[raiuns]

Lokal gemountet geht es aber schneller

Aber dann wird nicht verschlüsselt übertragen, was Du damit löst, dass Du schon lokal verschlüsselt speicherst? (Hab ich das richtig verstanden?)

Das lokal mounten gefällt mir, weil ich mich dann auch mit dem Dateimanager einfach das entfernte Verzeichnis bearbeiten kann und ich mich nicht bei allen Befehlszeilen mit dem Benutzernamen etc. beschäftigen muß (Befehlszeilen weren besser lesbar)

"lokal mounten" geht, wenn ich es bis jetzt überschaue mit "webdav" (wie in Deinem Beispiel) oder mit sshfs - was soll ich nehmen?

[raiuns]

Ok, also was ich gemacht habe: Mit ssh-Keygen ein Schlüsselpaar erzeugt, den öffentlichen lt. Anleitung bei Strato gespeichert, und ich kann so eine sftp-Verbindung aufmachen (so weit, so gut):

Code: Alles auswählen

sftp -oIdentityFile=/root/.ssh/id_HiDrive XXXXXX@sftp.hidrive.strato.com

Nun habe ich versucht, das webdav-Beispiel nachzuvollziehen. Ich musste fsdav2 installieren, und ich habe diese Zeile in die fstab geschrieben:

Code: Alles auswählen

# Strato HiDrive for backup etc.
https://webdav.hidrive.strato.com/ /media/HiDrive davfs rw,users,auto 0 0

Da möchte er bei mir jedes Mal, wenn ich die mit mount -a anwende, Benutzername und Passwort wissen. Wenn ich die eingebe, funktioniert der Mount auch - aber kann ich ihn auch da bewegen, den ssh-key zu benutzen (wie?) Also insbesondere so, dass er beim booten die Verbindung schon herstellt?

alternativ - wenn man "noauto" benutzt - wann hängt er dann ein?

[stollenreiter]

Ok, das mit dem Hochladen eines Schlüssels habe ich nie gemacht.

Du musst noch in der Datei

~/.davfs2/secrets

folgendes eintragen:

/mountpunkt benutzername Kennwort

Achtung: das Kennwort wird dort im Klartext gespeichert!

In der

/etc/davfs2

die Datei

davfs2.conf

anpassen.

Ich habe bei den beiden Zeilen

ask_auth 0
use_locks 0

den "#" entfernt.

Dann sollte das mounten funktionieren.

[raiuns]

ok, also ich habe User und Passwort eingetragen in /etc/davfs2/secrets

Damit funktioniert es! In der Datei gibt es auch Kommentare für client-certificates, aber das habe ich nicht geschafft - wenn ich nur die Datei mit dem privaten schlüssel angebe, gibt er mir einen Syntaxfehler, aber kennwort gehört ja keins dazu - muß was anderes gemeint sein. So komm ich erstmal weiter.

[atomicbumper]

Hi raiuns

nur mal so aus Neugier weil ich selber Backups auf HiDrive mache: Hast Du bei davfs nicht ordentliche Permformance-Einbussen im Vergleich zu cifs? Wenn ich mich richtig erinnere war bei mir die Übertragungsgeschwindigkeit bei webdav ca. 5 - 10 x geringer als bei einem gemounteten cifs.

Ich sichere in eine verschlüsselte Container-Datei, falls von Interesse: http://debianforum.de/forum/viewtopic.p ... 67#p946120

[syssi]

Wo wir schon beim Thema Geschwindigkeit sind: Mich wundert der Kommunikationsweg/Ansatz in diesem Thread sehr stark. In der Tat ist rsync ein Tool um moeglichst effizient einen Datenabgleich von a nach b anzustellen. Dazu wird nicht nur die Dateigroesse und das Erstellungsdatum geprueft, sondern Checksummen ueber ganze Dateien erzeugt. Wird eine Differenz festgestellt, dann wird die Datei im Anschluss in kleine Haeppchen unterteilt und Checksummen dieser Happchen berechnet. Finden sich Stellen/Teile, die nicht uebereinstimmen, so wird eine Uebertragung eingeleitet. Aus diesem Grunde ist rsync schnell!

Man kann mit rsync nicht nur lokale Verzeichnisse abgleichen, sondern dies auch durchs Netz (SSH) bewerkstelligen. Nutzt man den SSH-Weg, dann laeuft sowohl auf der lokalen Maschine eine Rsync-Instanz, als auch auf der entfernten Maschine. Ueber die Verindung muessen lediglich Checksummen ausgetauscht werden und anschliessend die Differenzen. Ja! Das findet verschluesselt ueber SSH statt.

In diesem Thread wurde folgender Ansatz gewaehlt: Gemountet wird ein entferntes Dateisystem z.B. per Webdav. Anschliessend wird rsync eingesetzt, um wieder zwei lokale Verzeichnisse miteinander zu vergleichen. Ich wuerde an dieser Stelle behaupten, dass nun ganz schoen viel Traffic erzeugt wird, wenn rsync versucht auf dem webdav-Mountpoint Checksummen und Haeppchen-Checksummen zu generieren. Dafuer muss meiner Meinung nach die gesamte Datei von Remote geholt werden und vor Ort zerlegt/untersucht. Den massiven Vorteil von Rsync auf der lokalen Maschine und dem Remote-Host hat man mit diesem Ansatz vollstaendig zerschlaegen.

Aus diesem Grund sollte man wirklich den grossen Vorteil nutzen, welchen das Strato HiDrive netterweise bietet: Eine rsync-Instanz auf dem Backup-System.

[atomicbumper]

Ja, klingt logisch was Du sagst. In meinem persönlichen Fall wollte ich sicherstellen, dass die Daten lokal verschlüsselt und übertragen werden - da schien mir diese Lösung am charmantesten (auch wenn die Strato-Server in Deutschland stehen

Was das quantitativ an Extra-Traffic bedeutet kann ich nicht im geringsten einschätzen. Aber solange der gesamte Traffic überschaubar bleibt ... In meinem Fall mache ich täglich ein Backup mit rsnapshop (also rsync) auf einen internen Server, das sind immer so ca. 2 GB Traffic übers WLAN (auf dem internen Server läuft auch kein rsync-daemon, sondern ich mounte auch einfach nur eine cifs-Freigabe). Einmal die Woche mache ich dann ein reines rsync Backup des internen Backup-Servers aufs HiDrive, dabei kommen so im Schnitt 2.8 GB Traffic zustande.

Wenn ich mal Zeit habe, stelle ich intern von der cifs-Freigab auf rsync-daemon um (obwohl, evtl. geht das mit rsnaphot gar nicht?), wäre interessant dann mal zu sehen, wie stark sich der Traffic reduziert...

[syssi]

Wenn ich mal Zeit habe, stelle ich intern von der cifs-Freigab auf rsync-daemon um (obwohl, evtl. geht das mit rsnaphot gar nicht?), wäre interessant dann mal zu sehen, wie stark sich der Traffic reduziert...

rsnapshot kann (und will das auch).

[atomicbumper]

na dann steht dem Ganzen ja nur noch meine Faulheut im Weg!!

[raiuns]

Also das Backup über den Weg funktioniert prinzipiell, hat aber 2 große Nachteile:

1) es ist in der Tat seeehr langsam. So 10GB pro Tag bei einer hausüblichen 16MBit DSL mit knapp 1 MBit upload.

2) Es ist mir nicht gelungen, den Hardlink "last" anzulegen - deshalb würde er beim nächsten Mal wieder komplett kopieren. (siehe http://debianforum.de/forum/viewtopic.php?f=30&t=145904 )

Weil ich das nicht will, versuche ich es nun auch mit ssh direkt. Der Link mit Webdav ist trotzdem ganz nützlich, wenn man per Dateimanager im Backup stöbern will.