Backup-Frage

[rolfti]

hi, am Ende eines jeden Monats speichere ich den kompleten Monatsablauf aller
inkrementell- und differentiellen-Backups in eine *.tar.gz Datei.
Dies für jede einzelne Partition, wie bspw: /data /public.... und verschiebe sie ins aktuelle Jahres-Archiv.

Dies funktioniert soweit ganz gut, nur habe ich da ein Problem:
in der *.tar.gz-Datei werden Monat für Monat Dateien gespeichert die bereits im vor Monat gesichert wurden
und so in x-facher Menge in den einzelnen Jahres-Archiven vorhanden sind.
Fazit: abgesehen vom Platzproblem geht es mir um die Überschaubarkeit, zum Beispiel im Falle einer
Datensuche oder Wiederherstellung.

Wie kann man dies ausfiltern?
So sieht bspw. das Archiv von /data aus:
data_2010-01-29.tar.gz
data_2010-02-28.tar.gz
data_2010-03-30.tar.gz

und die letzte Frage: es kommt vor das diese Datein ganz schön Dick werden, manche 6-9GB und mehr.
Wäre es Sinnvoller/Besser sie zu splitten? Wie geht Ihr damit um?
thx

[Six]

Die spannende Frage ist: willst du ein Archiv oder ein Backup erstellen?

Archive müssen revisionssicher sein und die rechtlichen Normen aus HGB, AO, UstG, GDPuD und GoB erfüllen. Das ist mit sehr viel Arbeit verbunden (und geht, ehrlich gesagt, weit über das hinaus, was ich hier erklären würde und könnte).

Für ein simples Backup betreibst du recht viel Aufwand, aber wenn deine Specs so aussehen auch gut. Jedenfalls kann man hard-linking oder ein deduplizierendes FS benutzen, um den Platzverbrauch zu reduzieren. Ich setze für gewöhnlich auf hard-linking und weil ich faul bin, benutze ich dann einfach dirvish, das Programm macht das automatisch für mich und beherrscht auch Collation.

[BeS]

Jedenfalls kann man hard-linking oder ein deduplizierendes FS benutzen, um den Platzverbrauch zu reduzieren. Ich setze für gewöhnlich auf hard-linking und weil ich faul bin, benutze ich dann einfach dirvish, das Programm macht das automatisch für mich und beherrscht auch Collation.

Das Programm sieht auch interessant aus. Ich verwende jetzt seit einiger Zeit rdiff-backup und bin sehr zufrienden damit. Wie der Name schon andeutet, speichert das Programm diffs als Versionshistory und aktualisiert ansonsten immer nur die Dateine die sich geändert haben.

[peschmae]

Ich bin bei storeBackup gelandet für lokale Backup/Backups auf externe Festplatten. Das komprimiert die Dateien einzeln mit gzip/bzip2 und macht für jedes Backup einen eigenen Verzeichnisbaum mit Hardlinks auf ältere Backups für Dateien die sich nicht verändert haben. Zudem kann es automatisch ältere Backups auslichten (i.e. alle Backups der letzten Woche, 10 des letzten Monats, 30 der letzten 6 Monate und 10 des letzten Jahres aufbewahren, alle anderen löschen), so dass man sich wenns mal richtig konfiguriert ist nicht gross Sorgen um vollaufenden Speicher machen muss.

Die Remote-Fähigkeiten sind leider etwas eingeschränkt und alles fuse-basierte Netzwerkzeugs ist entweder zu instabil(*) und/oder kann keine Hardlinks; dafür habe ich dann eine selbstgebastelte rsync-basierte Scriptlösung die in etwa dasselbe macht (also für jedes Backup einen neuen Ordnerbaum mit Backupdatum als Name und Hardlinks für Dateien die schon genau so auf dem Server sind, ohne die Kompression, weil sonst rsync nicht mehr richtig hardlinkt und ohne die tollen Features zum automatischen auslichten älterer Backups von Storebackup, weil ich bisher zu faul war mir ein Script dafür zu schreiben; dafür aber mit md5-checksummen der Dateien damit man auch nachträglich noch gucken kann ob das Backup noch in Ordnung ist)

All die anderen durchaus auch netten Backuptools die da so rumschwirren benutze ich selber nicht mehr, da man für ein restore meist auch wieder auf das Backup-Tool zurückgreifen muss. Ich will einfach 1:1 Zugriff auf einen Dateibaum mit meinem Backup haben auf dem ich mit der Shell rumturnen kann. Meist will ich ja sowieso nur eine einzelne Datei wiederherstellen und das geht so einfach viel praktischer und ohne dass ich mir in der Manpage des Backuptools die selten benötigte Syntax für die Wiederherstellung zusammenklauben müsste...

MfG Peschmä

(*) die Fuse-Lösungen funktionieren durchaus gut, aber alles was gemountete Netzwerkdateisysteme ist hat inhärent Probleme mit instabilen Internetverbindungen. Ein sshfs/ftpfs oder so erfordert manuelles un-/remounten, eventuell killen von noch rumhängenden Prozessen und neustarten des Backupvorgangs wenn die Verbindung abbricht. Für ein rsync über ssh gibts einen Fehlercode - das einzige was ich machen muss ist mein Backupscript nochmal starten, was dann das Backup vollendet, natürlich *ohne* die schon übertragenen Dateien nochmal rüberzuschieben.

[pluvo]

Hi!

Schöne Auflistung. Es fehlt aber noch rsnapshot

Siehe:

• http://wiki.ubuntuusers.de/rsnapshot
• http://www.linux-fuer-blinde.de/128-0-b ... pshot.html
• http://www.tim-bormann.de/automatisiert ... rsnapshot/

mfg pluvo