Duplikate und Dateiabgleich

[kalamazoo]

Hi,

Wie gleicht ihr große Datenmengen ab bzw. scheidet ihr Duplikate aus? Verwendet ihr dazu Programme (und wenn "Ja", welche?) oder Standardbefehle (und wenn "Ja", welche?)?

Problemstellung: ich möchte die doppelten und mehrfachen Dateien meiner unzähligen Sicherheitskopien, Backups, Festplatten und sonstigen Speichermedien, etc. 1. finden und gegebenenfalls 2. löschen. Was empfiehlt ihr hinsichtlich Zuverlässigkeit (sehr wichtig), Geschwindigkeit (weniger wichtig) und auch Komfort (auch wichtig). Es handlet sich um Datenmengen von mehreren Terabytes (alleine mehr als 300.000 Fotos), die sich im Laufe der Zeit angesammelt haben.

Danke im Vorhinein für eure zahlreichen Antworten!
kalamazoo

[DeletedUserReAsG]

fdupes hat bei mir ’nen guten Eindruck hinterlassen. Mittlerweile stelle ich langsam auf btrfs um, da scheint’s noch ein paar elegantere Methoden zur Deduplikation zu geben.

Was Backups angeht: man kann sich ’ne Backupstrategie basteln, bei der’s keine oder nur wenige Duplikate (etwa bei monatlichen Vollbackups zusätzlich zum täglichen inkrementellen Backup) gibt.

[jph]

Wie gleicht ihr große Datenmengen ab bzw. scheidet ihr Duplikate aus? Verwendet ihr dazu Programme (und wenn "Ja", welche?) oder Standardbefehle (und wenn "Ja", welche?)?

Nchau dir mal fslint an. Das erlaubt die Duplikaterkennung und -bearbeitung per GUI. Die Erkennung erfolgt über Vergleich der Dateiinhalte, d.h. die Dateinamen sind irrelevant. (Doubletten von Fotos werden demnach auch bei gleichen Namen nicht gefunden, wenn ein Exemplar bearbeitet wurde. Eine solche „Ähnlichkeitssuche“ suche ich selbst noch.)

[kalamazoo]

Sorry, dass ich mich nicht früher zurückgemeldet habe und noch nicht auf eure Beiträge eingeht (Danke dafür!!! werde mir alles anschauen und dann antworten), aber mich beschäftigt derzeit ein massives Hardwareproblem:
viewtopic.php?f=13&t=170413

[rendegast]

findimagedupes (fuzzy)
jdupes