Doppelte Dateien finden und durch symbolische Links ersetzen

[noname234]

Hallo,

beim Backup macht rsnapshot ja aus doppelten Dateien sehr brav symbolische Links - gibt es ein Tool für Debian auf der Konsole was das auch einfach so macht?

Bei mir liegen in mehreren Ordnern größtenteils immer wieder die gleichen Dateien, da würde ich gerne durch symbolische Links Speicherplatz sparen.

Vielen Dank

[lemak]

hm wie soll denn dort entschieden werden, welche datei inhalt bleiben soll und welchen ein link zum inhalt werden soll?

[gms]

kenne rsnapshot nicht, aber normalerweise verwende Backuptools die harten Links, somit wäre es auch egal, welche Datei bleibt und welche durch den Link ersetzt wird.

Gruß
gms

[KBDCALLS]

Wenn man wirklich doppelte Dateien finden will dann reicht nicht der Name sondern dann müßte man die MD5 Prüsummen vergleichen.

Code: Alles auswählen

#!/bin/bash
# Für jede Datei die Prüfsumme berechnen und in einer temporären
# Datei speichern
find -exec md5sum {} \; > /tmp/sum.unsorted
# Die Prüfsummen sortieren
sort < /tmp/sum.unsorted > /tmp/sum.sorted
# Alle Doppelten Summen finden und speichern
cut -f 1 -d " " /tmp/sum.sorted | uniq -d > /tmp/sum.dupe
# Die Dateinamen zu den Doppelten Summen finden und ausgeben
grep -F -f /tmp/sum.dupe /tmp/sum.sorted

[noname234]

Ja genau - ein vergleich des Dateinamens ist nicht ausreichend - eigentlich kann es ja kaum sein das es für sowas keine fertigen tools gibt, die anforderung kommt ja bestimmt häufiger.

Vielen Dank für eure Hilfe.

[markus_b]

Ich mach so was immer mit einer Kombination aus fdupes und einer while Schleife.

Zum Beispiel (solltest du entsprechend auf deine Bedürfnisse anpassen):

Code: Alles auswählen

fdupes -r1 . > dupes
while read a b; do ln -sv "$a" "$b"; done < dupes

[noname234]

Hallo,

die Idee finde ich gut - aber scheinbar ist noch ein Fehler in der Anweisung:

Ich erhalte immer die Ausgabe "No such file or directory" und vermute, dass liegt vor allem an den Leerzeichen in den File- und Verzeichnisnamen. Wie kann ich das noch escapen lassen?

Viele Grüße und Danke.

[jasonts]

Ich habe mich mal daran gemacht und das Problem via Python etwas umfangreicher gelöst. Mit drei kleinen Skripten ersetze ich doppelte Dateien auf meinem NAS durch harte Links! Ich hoffe das hilft dem einen oder anderen weiter: http://www.digitalchaot.de/python/doppe ... etzen.html

[Phineas]

Ich erhalte immer die Ausgabe "No such file or directory" und vermute, dass liegt vor allem an den Leerzeichen in den File- und Verzeichnisnamen.

Ich würde nicht vermuten sondern die Fehlermeldung komplett posten.

[markus_b]

Immer diese Leichengräber

Tatsächlich habe ich meine ursprüngliche Idee inzwischen schon weiter entwickelt und das Ergebnis ist folgendes Script: 37361

Dieses kann auch mit Leerzeichen in den Dateinamen umgehen (das vorher wirklich ein Problem war) und akzeptiert zusätzlich noch folgende Parameter:
-n: no-act, es wird noch nichts gemacht, sondern nur das ausgegeben, was gemacht werden würde
-r: reverse, Links umgekehrt erstellen

[Cae]

Vorneweg: Ihr Leichengraeber!1!!

Ich will euch ja nicht enttaeschen, aber es gibt bereits Programme dafuer, z.B. fdupes (siehe auch die "Aehnliche Pakete"-Liste dort). Das macht Hardlinks, was man vermutlich eher will. Softlinks werden von Anwendungen als solche erkannt und potenziell anders behandelt.

Gruss Cae

[noname234]

Hallo,

der Beitrag ist ja durchaus schon älter. Ich habe mich mittlerweile für Hardlinks entschieden und nutze:

#!/bin/sh
fdupes -r "$@" | tee /tmp/fdupes.out |
perl -ne '
chomp;
if (/./) { push @f, $_; }
else {
$k = shift @f;
for (@f) {
print "Linking $_ --> $k\n";
unlink $_;
link $k, $_;
}
@f = ();
}
'

[striker2150]

Der Link hier könnte vielleicht auch hilfreich sein:
http://it-fuzzy.blogspot.de/2010/08/che ... ouble.html