/home versehentlich gelöscht

[tHoRax]

hallo leute,
nach etlich langen Jahren im Debianforum habe ich ausversehens den Inhalt meines /home's auf meinem Lapptop gelöscht. Dabei wollte ich nur meinen 32GB Stick löschen, aber ein zuvor eingegebenes "rm"-Befehl in der Konsole hatte sich eingeschlichen und somit wurde zwar der 32GB Stick plattgemancht, aber dabei auch durch den ersteren auch das /home Verzeichnis. Zum Glück konnte ich die ganzen Daten(Sage und Schreibe 399GB) wieder zurückholen auf die Platte mittels photorec, aber dieses hat 28345 recup_dir.*** Dateien angelegt, in denen sich Bilder,Videos,Texte, Tabellen etc., die mir sehr wichtig sind,hinterlegt.Alles abzusuchen und die benötigten Dateien rauszufischen dauert eine halbe Ewigkeit bei 399 GB Daten.
Was ich in dieser Hinsicht benötige ist ein Shellscript, welches mir aus diesen 399GB Daten, Daten wie *.mpg, *.mov, *.ods, *.png hauptsächlich findet und auf die Platte legt, zur Verfügung stehen noch 249 GB auf der Platte.
Ein weiterer Punkt ist dass diese Dateien mehrfach vorkommen, also von jeder Datei mehrere hundert identische existieren.
Diese sollte der Script finden nur ein Exemplar behalten(speichern) und die Restlichen löschen.Ich weiss nicht wie man diese mehrfach vorkommende Files ausfindig macht, wahrscheinlich haben die dieselbe Signatur oder so.Zum Schluss hätte ich vllt. 50GB Daten oder weniger, diese würde ich auf ein anderes Medium übertragen und die Platte komplett neu aufsetzen.
Jede recup_dir 20480 Bytes? groß, hier ein kleiner Auszug:

drwxr-xr-x 2 root root 20480 25. Aug 03:34 recup_dir.29220
drwxr-xr-x 2 root root 20480 25. Aug 03:34 recup_dir.29221
drwxr-xr-x 2 root root 20480 25. Aug 03:34 recup_dir.29222

Könnte jemand von Euch mir ein Shellscript schreiben, damit ich diese Daten auf die schnelle wieder haben kann.
Herzliches Danke im Voraus, thorax

[hikaru]

Erster Ansatz:
0. Ich würde alle Daten auf ein anderes Dateisystem (z.B. externe HDD) übertragen und dann nur darauf arbeiten. So machst du dir bei Fehlern nicht noch mehr von den Originaldaten kaputt.
1. fdupes findet (und löscht auf Wunsch) doppelte Dateien. Darüber würde ich zunächst das ganze "Archiv" filtern.
2. Was dann noch übrig bleibt kann man mittels file identifizieren und entsprechende Dateiendungen vergeben.
3. Mit etwas Puzzelei könnte man vielen Dateien vieleicht noch halbwegs sinnvolle Dateinamen verpassen. Audio- und Videocontainer, sowie Bilddateien enthalten oft Metadaten (z.B. ID3-Tags bei MP3, EXIF bei JPG), die sich extrahieren und in die Dateinamen schreiben ließen. Aus Textdateien im weiteren Sinne könnte man Inhalte (z.B. den ersten Satz) extrahieren und in den Dateinamen schreiben.
4. Nachdem dann das Schlimmste überstanden ist, solltest du dir Gedanken über eine Backupstrategie machen, damit das nächste versehentliche rm dich nicht wieder an den Rand der digitalen Katastrophe bringt!

[tHoRax]

hallo hikaru.
Photorec hat ja alle Dateien je nach Format(jpeg,mpeg,txt oder ods) in sogenannte recup_dir* 's schon gespreichert.Nur existieren sie mehrfach und ca. 400GB Daten nach den Daten abzusuchen, die man braucht, braucht viel viel Zeit.
Deinen Ansatz mit auf externe Platte sichern und doppelte Files mit fdupes abchecken ist ja okay.Da kommt viel Arbeit auf mich zu die nächsten Tage Muss mir irgendwie eine externe USB-Platte holen und die Daten erstmal auf diese kopieren.Dann lass ich fdupes auf die Platte los und hole mir die ganzen unikate. Aber löscht auch fdupes wirklich alle doppelten Dateien einer einzigen Datei auch restlos weg?

[hikaru]

Photorec hat ja alle Dateien je nach Format(jpeg,mpeg,txt oder ods) in sogenannte recup_dir* 's schon gespreichert.Nur existieren sie mehrfach und ca. 400GB Daten nach den Daten abzusuchen, die man braucht, braucht viel viel Zeit.

Deshalb filterst du ja erstmal automatisiert alle Duplikate weg. Das dauert entweder so lange wie deine HDD zum durchlesen aller Dateien braucht, oder deine CPU zum Erstellen der Prüfsummen - je nachdem was länger dauert. Das solte eine Sache von Stunden sein und du hast dabei Nichts zu tun, könnte also z.B. über Nacht passieren.

Den Teil mit den Dateiendungen über file kannst du dir wohl sparen, wie ich gerade lese. Das macht Photorec wohl schon selbst. (Ich habe es mir lange nicht mehr angesehen.)

Dann brauchst du nur noch leserliche Dateinamen erzeugen. Hier hat sich offenbar schon mal jemand Gedanken über das Szenario gemacht. [1]

Muss mir irgendwie eine externe USB-Platte holen und die Daten erstmal auf diese kopieren.Dann lass ich fdupes auf die Platte los und hole mir die ganzen unikate.

Die HDD brauchst du so oder so, nämlich für's zufkünftige Backup!

Aber löscht auch fdupes wirklich alle doppelten Dateien einer einzigen Datei auch restlos weg?

Meiner (sehr begrenzten) Erfahrung nach schon. Es erzeugt Prüfsummen aller Dateien und schmeißt dann (auf Wunsch) alle bis auf eine Kopie einer jeweiligen Prüfsumme weg.
Das Verfahren ist natürlich begrenzt. Zwei nach menschlichem Ermessen identische, nach Prüfsumme aber unterschiedliche Dateien (z.B. originales und minimal bearbeitetes Foto) werden behalten.


[1] https://www.cgsecurity.org/wiki/After_Using_PhotoRec

[tHoRax]

Danke hikaru.
Werde die nächsten Tage sehen, was sich machen lässt Zumindestens kann ich jetzt alle nicht benögtigten Duplikate von der Platte löschen.

[am2]

Ich mache regelmäßig auf externer HDD ein Borg-Backup (inkrementell) von meinem /home. Ich habe ~1TB an Dateien. Da kann es passieren, dass ein Backup schon mal zwei Tage her ist aber das Zurückspielen ist ein Kinderspiel, das einmalig einige Stunden braucht bei denen der Rechner keinerlei Aufmerksamkeit benötigt. Oder einfacher - der Tag ist hin. Nach einer Neuinstallation ist das immer sehr hilfreich.

Einmal habe ich mein /home mit dd vernichtet. Einfach unkonzentriert gewesen und die Rums-Taste gedrückt. Danach noch kurz gewundert, warum dies und das nicht läuft. Ohne Backup wäre ich Amok gelaufen oder hätte mich von einem Felsen gestürzt. Ein inkrementeller Backup dauert bei mir ~45 Minuten und ich kann während dieser Zeit ganz normal weiter arbeiten. Steht in keinem Verhältnis zu verlorenen Daten.

Dazu fällt mir noch ein:
- Meine HDD ging kaputt. Alle Daten sind weg. Was mache ich jetzt???
- Hast du sie gesichert?
- Nein.
- Dann waren sie nicht wichtig.

[Radfahrer]

Dazu fällt mir noch ein:
- Meine HDD ging kaputt. Alle Daten sind weg. Was mache ich jetzt???
- Hast du sie gesichert?
- Nein.
- Dann waren sie nicht wichtig.

Genau so ist es!

[tHoRax]

am2 hat geschrieben: ↑ zum Beitrag ↑
29.08.2019 20:49:55
Dazu fällt mir noch ein:
- Meine HDD ging kaputt. Alle Daten sind weg. Was mache ich jetzt???
- Hast du sie gesichert?
- Nein.
- Dann waren sie nicht wichtig.

Genau so ist es!

2259

Ich habe dich doch gar nicht um Mitleid gebeten, oder? Dein Avatar gefällt mir so sehr, dass ich in Zukunft da daran Denken werde, wenn ich auf der Konsole irgendwelche Befehle eingebe, bei denen ein zuvor eingegebenes "rm" - Befehl alles plattmacht! Da drückt man in der Konsole ein "Pfeil nach oben" um den vorherigen Befehl aus dem Speicher zu holen und auf einmal sind zwei Befehle auf der Konsole gelandet. Nach getaner Arbeit ist dann alles pfutsch.Natürlich ist man selber Schuld an dem Elend Aber passiert ist passiert und hinterher weinen bringt nichts

[am2]

(...)
Natürlich ist man selber Schuld an dem Elend Aber passiert ist passiert und hinterher weinen bringt nichts

So ist es und niemand will hinterher weinen oder dazu animieren. Ich mit meiner dd - Aktion sollte mich damit lieber nicht zu oft outen. Ich glaube ich habe da falsches /dev/sd_xyz als Ziel zum Abschuß genannt. Das war dann mein home-dev. Allerdings wer aus der Geschichte (gemeint ist tatsächlich die Vergangenheit) nichts gelernt hat, der wird den einen oder anderen Fehler wiederholen, inkl. aller Konsequenzen. Siehe z.B. die neuesten Wahlergebnisse in Sachsen und Brandenburg

Irgendein gut gemachtes Backup ist eigentlich lebenswichtig.