Backup, Komprimierung, Upload und Download von Dirs auf Serv

[maltris]

Mensch die Ueberschrift hat jetzt aber echt mal garnicht gepasst. Verdammte Zeichenbegrenzung.

Und zwar hatte ich nun kuerzlich ein richtig dickes Problem mit meinem Server, weshalb ich mich nun mal der Backupproblematik annehmen moechte. Zwar bietet mein Anbieter die Moeglichkeit komplette Backups vom VPS zu machen, aber immer nur zwei Stueck. Sobald ich ein drittes anlege wird also das aeltere der beiden geloescht. Soweit so gut.

Nun habe ich hier einen Rechner der quasi 247 rennt und Anbindung ans Netz hat. Ich wurde jetzt gerne folgendes realisieren:

- VPS sichert und komprimiert bestimmte, von mir ausgewaehlte Verzeichnisse (mehrere) zu einer Datei und legt diese in einem Verzeichnis ab
- Rechner (ebenfalls ein Debian Squeeze) loggt sich voll automatisiert auf VPS via SFTP oder FTP ein und laed sich die Datei

Das klingt recht unspannend und einfach, jedoch fehlen mir ein paar Details oder Grundkenntnisse.

- Da die Leitung zum Rechner nicht die beste ist, moechte ich die Datei gerne so sehr komprimieren wie es nur geht.Was empfiehlt sich da ohne dasmanDateien beim Wiederherstellen verliert etc? bz2? gzip?
- Wie kann ich automatisiert (und zuverlaessig!) bestimmte Verzeichnisse (/var/www, /var/lib, /home) zu einer Datei packen lassen
- Wie kann ich die Datei verschluesseln, sodass niemand sie mitschneiden kann wenn ich nicht aufpasse? (Ist solch ein Szenario denkbar?)
- Wie kann ich ermoeglichen, dass sich die Backups auf dem VPS nicht stauen sondern ueberschrieben werden taeglich?
- Wie kann ich auf dem Rechner ermoeglichen, dass immer nur maximal 10 Dateien gespeichert werden (wenn eine elfte dazu kommt wird die aelteste geloescht)?

Habe ich noch was vergessen? Hoffentlich nicht.Beste Gruesse und Dank an euch im Voraus!

[uname]

Vielleicht solltest du einfach das ganze Backup-Konzept verwerfen. Es ist gut wenn dein Hoster zwei Sicherungskopien anbietet. Aber persönlich führe ich inkrementelle Serversicherungen vollkommen anders durch. Aber in einer Form, welche deinen Anforderungen an Geschwindigkeit und Zuverlässigkeit entspricht.

Um meinen Ansatz zu verstehen könntest du folgende Anleitung (siehe Link) mal durchlesen, die ich vor einiger Zeit geschrieben habe. Aus Backup-Frust habe ich sogar gleich auf Backupsoftware wie rsnapshot verzichtet, welches noch eine Vielzahl von mehr Optionen anbietet, die ich sowieso nie hätte nutzen wollen. Zudem war das rsnapshot-Programm nicht selbsterklärend.

http://wiki.ubuntuusers.de/Skripte/Backup_mit_RSYNC

Brauchst das Script nicht nutzen. Es soll nur einen alternativen Ansatz darstellen. Mit Windows als Client-System wirst du aber dann wohl Probleme bekommen. Ich hoffe du nutzt auch dort Debian, Ubuntu oder ein anderes Linux

[Cae]

- Da die Leitung zum Rechner nicht die beste ist, moechte ich die Datei gerne so sehr komprimieren wie es nur geht.Was empfiehlt sich da ohne dasmanDateien beim Wiederherstellen verliert etc? bz2? gzip?

Wenn du rsync verwenden kannst, bietet es sich an, kein riesiges BLOB zu bauen, sondern Datei-basiert zu sichern. rsync wird ueber Pruefsummen sehr trafficschonend bestimmen, ob eine Datei auf beiden Seiten dieselbe ist, und sie dann auch nicht uebertragen. Ansonsten gilt gzip < bz2 < xz, im Bezug auf Kompression und Rechenzeit

- Wie kann ich die Datei verschluesseln, sodass niemand sie mitschneiden kann wenn ich nicht aufpasse? (Ist solch ein Szenario denkbar?)

rsync wuerde man typischerweise durch SSH tunneln, was nicht unsicherer als der Rest ist. Problematisch duerfte der "Parkplatz" sein, weil die (sensiblen) Daten unverschluesselt herumliegen. Wenn man dieser Kiste nicht traut, muss man auf dem zu backupppenden System verschluesseln (aespipe, PGP; was wiederum als BLOB einfacher ist) und dann die moegliche Effizienz von rsync einschraenkt.

- Wie kann ich ermoeglichen, dass sich die Backups auf dem VPS nicht stauen sondern ueberschrieben werden taeglich?
- Wie kann ich auf dem Rechner ermoeglichen, dass immer nur maximal 10 Dateien gespeichert werden (wenn eine elfte dazu kommt wird die aelteste geloescht)?

Ich wuerde Unterverzeichnisse anlegen, die einen Zeitstempel haben, in der Form "%s-backup-$hostname". Dann kann man etwas wie

Code: Alles auswählen

echo *-backup-$hostname | tr \  \\n | sort -rn | awk '{ if (i++ > 10) print }' | xargs rm -rf

verwenden und sich darauf verlassen, dass sort einem die neusten (hoechste Sekundenwerte) zuerst praesentiert, die man mit head weglaesst und den Rest ueber xargs an rm weitergibt. Es versteht sich von selbst, dass xargs | rm-Code seeehr genau testet. Den awk-Aufruf koennte auch GNU-head ersetzen, aber das ist nicht POSIX und nicht portabel.

Gruss Cae

[maltris]

Wie oben beschrieben läuft auf dem Client als auch auf dem Server Debian.

Rsync ist ein gutes Stichwort, fordert aber nochmal ein komplettes Überdenken der Strategie.
Rsync würde dann also immer die Verzeichnisse abgleichen und neuere Dateien ziehen und dabei die alten Überschreiben. Das ist sehr wünschenswert, würde ich gerne so machen, erzeugt sicher viel weniger Datenlast als täglich ein komplettes Backup.

Dann weiß ich jedoch noch immer nicht, wie ich am besten auf dem Backup-Rechner fortfahren soll. Der hat dann zwar die komplette Ordnerstruktur auf den Tag aktuell, aber wie löse ich das mit den 10 Backups. Wenn ich den Backups nur einen unterschiedlichen Namen (etwa nach Zeit mit Zeitstempel) gebe, dann sagt das dem System ja noch nicht, welche Dateien gelöscht werden sollen. Und In Posix kann man ja nicht durchzählen und wenn eine bestimmte Zahl erreicht wurde wieder von vorn anfangen. Oder irre ich da?

Weiterhin: Wenn ich die Dateien dann komprimieren lasse auf dem Backup-Rechner, welche Art beitet sich dann da an? (Der Rechner hat nur einen Sempron 145, dürfte also recht ausgelastet sein wenn er 30GB an Daten komprimieren muss. Macht das überhaupt Sinn mit einer solchen CPU?)

[uname]

Lese meinen Wiki-Link mal durch. Pro Tag hast du einen eigenen Ordner. Dateien, die logisch mehrfach existieren, existieren aufgrund von Hardlinks physikalisch einmal. Beim Löschen einer Tagesversion kannst du gefahrlos den ganzen Ordner weghauen. Die Datei wird erst gelöscht wenn keine Hardlinks mehr auf die Datei existieren.