Anw oder script um Duplikate entfernen?

[dbifusl]

Hallo,

ich fertige immer wieder mal ein Ordner-Backup des gesamten /var/www an.

Die Änderungen sind da meist minimal bis null.

Trotzdem erzeugt das natürlich viel redundaten Balast.

So lässt sich allerdings schnell etwas von damals wiederherstellen.

Code: Alles auswählen

week=$(date +%Y)-$(printf '%03d' "$(date +%V)")
mkdir --parents /mirror/$week
cp -a /var/www/ /mirror/$week

Gerne würde ich nun aber diesen "mirror" mal etwas (automatisch) entschlacken.

Nach der Idee: wenn eine Datei in der Woche 31 und 32 existiert und unverändert ist, dann lösche diese in der Woche 31 (und 30, 29, 28 usw.....). Sodass Identische Dateien nur noch in der aktuellsten Kopie bestehen bleiben.

Gibt es hierfür vielleicht schon ein Tool? (Man soll ja nicht ständig das Rad neu erfinden )
Oder führt hier kein Weg an einem selbstgebastelten Script vorbei?

Beste Grüsse

PS: Richtig interessant wäre es wenn es auch bewegte Dateien erkennt. Wenn eine Datei nur verschoben oder umbenannt wurde (was ja gar nicht mal selten passiert). Hier dürfte ein Script wohl dann doch überfordert sein.

[uname]

Die Änderungen sind da meist minimal bis null.

Ist bei mir genauso

Trotzdem erzeugt das natürlich viel redundaten Balast.

Ist bei mir nicht so. Backup läuft im übrigen nur wenige Sekunden

Gerne würde ich nun aber diesen "mirror" mal etwas (automatisch) entschlacken.

Besser wäre es den Ballast erst gar nicht zu erzeugen.

Wenn man 1:1-Backups (nicht Tarballs oder ZIP) erstellt, dann nutzt man normalerweise inkrementelle Backups. Hierbei verweisen die Inodes von zwei Sicherheitskopien per Hardlink auf ein und dieselbe Speicherstelle auf der Festplatte bzw. SSD, sofern die Dateien identisch sind. Zu sehen am Feld "Links" unter "stat /pfad/zur/datei"

Bei rsync nutzt man dafür die Option "--link_dest", die auf das jeweils vorherige Backup verweist.

--link-dest=DIR hardlink to files in DIR when unchanged

Beim normalen Kopieren fehlt der Bezug zum alten Backup und damit hat man wirklich viel redundaten Ballast.

Schau dir mein Backup-Script an: https://wiki.ubuntuusers.de/Skripte/Backup_mit_RSYNC
Auch andere Programme wie z. B. rsnapshot verwenden diesen Mechanismus.
Ich verwende 30 Backupgenerationen, die von der Datenmenge vielleicht 3 Vollbackups entsprechen würden. Liegt jedoch am Anwendungsfall.

[spiralnebelverdreher]

Hallo,

ich fertige immer wieder mal ein Ordner-Backup des gesamten /var/www an.

...

PS: Richtig interessant wäre es wenn es auch bewegte Dateien erkennt. Wenn eine Datei nur verschoben oder umbenannt wurde (was ja gar nicht mal selten passiert). Hier dürfte ein Script wohl dann doch überfordert sein.

Schau dir mal rdiff-backup an. Das macht zuverlässig inkrementelle Backups (local oder remote). Bewegte oder umbenannte Dateien kann es aber auch nicht intelligent behandeln.