Dateien kopieren

[The Hit-Man]

Ich müßte von einer USB 4TB Platte, alle Dateien kopieren. Nun habe ich allerdings nur USB 4x1TB Platten. Gibt da etwas, womit ich ohne großen Aufwand die Dateien kopieren kann? Vor 25 Jahren zu meinen DOS Zeiten, konnte man ja mit zip oder ähnlichen Programmen, Volumes erstellen und diese dann auf Disketten kopieren. Eigentlich will ich ja das gleiche nur eben in größer.
Mit 7z weiß ich umzugehen, auch wie man Volumes erstellt aber ich kann ja nicht mal eben 1TB Platte aus dem USB Port raus ziehen wenn die dann voll ist und mit der nächsten weiter machen. Da die ja gemountet ist.
Gibts da nen Trick oder so was in der Richtung?

[chrbr]

Bei tar gibt es die Option --tape-length. Damit könntest Du man experimentieren. Vor langer Zeit habe ich cpio verwendet. Ich erinnere mich aber nicht, ob und wie man Archive splitten konnte. Da das Ziel damals Bandlaufwerke waren kann das aber auch sein. Ansonsten kannst Du ein existierendes Archiv mit split aufteilen.
Viele Grüße,
Christoph

[The Hit-Man]

Bei tar gibt es die Option --tape-length. Damit könntest Du man experimentieren. Vor langer Zeit habe ich cpio verwendet. Ich erinnere mich aber nicht, ob und wie man Archive splitten konnte. Da das Ziel damals Bandlaufwerke waren kann das aber auch sein. Ansonsten kannst Du ein existierendes Archiv mit split aufteilen.

Schon klar. Aber das Archiv braucht ja dann erstmal 4TB Platz irgendwo. Die habe ich ja nicht außer in Form von 4x1TB USB Platten. Und die müßte ich ja dann irgendwie welchseln können.

[debilian]

und pro Verzeichnis kopieren kommt nicht in Frage?
also so mit

Code: Alles auswählen

du -sh

gucken, wie gross die sind
und dann einfach die 1. 3 Verzeichnisse auf Platte 1
die nächsten auf platte 2
etc.pp.

[The Hit-Man]

und pro Verzeichnis kopieren kommt nicht in Frage?
also so mit

Code: Alles auswählen

du -sh

gucken, wie gross die sind
und dann einfach die 1. 3 Verzeichnisse auf Platte 1
die nächsten auf platte 2
etc.pp.

Das wäre eine Notlösung. Dachte es würde komfortabler gehen.
EDIT: Das sind alles MultiMedia Dateien in einem Ordner ...

[tobo]

Sowas funktioniert nicht?

Code: Alles auswählen

tar cf - DIR/ | split -d -b 1TB - split_

DIR ist die Quelle deiner Dateien und split_ der Präfix der gebündelten 1TB-Dateien.

[The Hit-Man]

Ich probiere das gleich mal durch. Mache mir erstmal nen UB Stick fertig, mit kleinen Partitionen um zu testen.

[The Hit-Man]

Sowas funktioniert nicht?

Code: Alles auswählen

tar cf - DIR/ | split -d -b 1TB - split_

DIR ist die Quelle deiner Dateien und split_ der Suffix der gebündelten 1TB-Dateien.

Ne, das ist auch nicht richtig. Bei der Splitzahl ( 1TB ), sollte das Programm am besten warten auf einen neuen Datenträger. Oder am aller besten wäre ja wenn das Programm selber merkt, Datenträger ist voll, bitte nächsten einlegen ( anschließen ).
Unter anschließen verstehe ich dann, warten, Platte unmounten, nächste Platte wieder mounten ( mit dem gleich Pfad natürlich ) und dann weiter machen/kopieren.
Beim entpacken muß das ja dann genau so sein, nur eben umgekehrt.

[MSfree]

Alle 4 Platten anschließen und darüber mit mdadm ein RAID-0 (Harakiri-RAID) aufzuspannen und darauf zu kopieren, ist keine Option?

[The Hit-Man]

Alle 4 Platten anschließen und darüber mit mdadm ein RAID-0 (Harakiri-RAID) aufzuspannen und darauf zu kopieren, ist keine Option?

Leider nein, kein USB hub hier ... nur 2 USB. aber zu mindest USB 3.0.
Naja, dann muß ich es eben per Hand machen ... Aber trotzdem Danke ...

[tobo]

Ok, Problem verstanden. Was ist damit:

Code: Alles auswählen

tar -cML 1T -f /mnt/small1.tar /media/big

Wenn der Prompt zur 2. Datei erscheint, dann könntest du mit "?" deine Optionen einsehen und mit "n /mnt/small2.tar" die nächste Datei schreiben lassen, nachdem du den nächsten Datenträger nach /mnt eingebunden hast.

[cosinus]

Mal ne Frage: wenn du später an die Dateien wieder rankommen willst, dann müssen die doch im Originalformat sein oder nicht? Weil dann müsstest du die da eh wieder umkopieren auf eine Platte mit genügend Kapazität damit die an einem Ort erscheinen. Oder irre ich mich da?

[tobo]

Aus multi-volume-tar-Archiven kann man auch einzelne Tarballs oder daraus auch einzelne Dateien wiederherstellen.

Wie ich verstanden habe was gewünscht ist und wie man es im Prinzip umsetzen könnte:

Code: Alles auswählen

$ #Spielwiese erstellen
$ mkdir pg; cd pg; mkdir data tar_data
$ for i in `seq 3`; do dd if=/dev/urandom of=data/f$i bs=1M count=1; done
1+0 records in
1+0 records out
1048576 bytes (1.0 MB, 1.0 MiB) copied, 0.0177465 s, 59.1 MB/s
1+0 records in
1+0 records out
1048576 bytes (1.0 MB, 1.0 MiB) copied, 0.0176838 s, 59.3 MB/s
1+0 records in
1+0 records out
1048576 bytes (1.0 MB, 1.0 MiB) copied, 0.0176932 s, 59.3 MB/s
$ 
$ tree -s
.
├── [       4096]  data
│   ├── [    1048576]  f1
│   ├── [    1048576]  f2
│   └── [    1048576]  f3
└── [       4096]  tar_data

2 directories, 3 files
$ 
$ #Daten einpacken
$ tar -cML 2M -f tar_data/small1.tar data
Prepare volume #2 for ‘tar_data/small1.tar’ and hit return: n tar_data/small2.tar
$ 
$ tree -s
.
├── [       4096]  data
│   ├── [    1048576]  f1
│   ├── [    1048576]  f2
│   └── [    1048576]  f3
└── [       4096]  tar_data
    ├── [    2099200]  small1.tar
    └── [    1054720]  small2.tar

2 directories, 5 files
$ 
$ #Sicherung der Daten zum Vegleichen
$ mv data data~
$ 
$ #Daten auspacken
$ tar -xMf tar_data/small1.tar 
Prepare volume #2 for ‘tar_data/small1.tar’ and hit return: n tar_data/small2.tar
$ 
$ tree -s
.
├── [       4096]  data
│   ├── [    1048576]  f1
│   ├── [    1048576]  f2
│   └── [    1048576]  f3
├── [       4096]  data~
│   ├── [    1048576]  f1
│   ├── [    1048576]  f2
│   └── [    1048576]  f3
└── [       4096]  tar_data
    ├── [    2099200]  small1.tar
    └── [    1054720]  small2.tar

3 directories, 8 files
$
$ #Daten auf Unversehrtheit überprüfen
$ for file in data~/*; do cmp $file ${file/\~}; done
$
$ #Einzelne Datei auspacken (f1)
$ rm -r data
$ tar -xMf tar_data/small1.tar data/f1
Prepare volume #2 for ‘tar_data/small1.tar’ and hit return: ^C
$ tree -s
.
├── [       4096]  data
│   └── [    1048576]  f1
├── [       4096]  data~
│   ├── [    1048576]  f1
│   ├── [    1048576]  f2
│   └── [    1048576]  f3
└── [       4096]  tar_data
    ├── [    2099200]  small1.tar
    └── [    1054720]  small2.tar

3 directories, 6 files
$
$ #Spielwiese entfernen
$ #cd ..; rm -r pg
$

Tar wechselt nach der angegeben Größe bytegenau das Archiv. Somit ist es auch wahrscheinlich, dass bei jedem Wechsel eine Datei auf 2 Tarballs verteilt wird. Will man eine solche Datei einzeln wiederherstellen, dann benutzt man /usr/sbin/tarcat.

[cosinus]

Aus multi-volume-tar-Archiven kann man auch einzelne Tarballs oder daraus auch einzelne Dateien wiederherstellen.

Klingt alles sehr umständlich. Mein fileroller (Engrampa-Archivverwaltung) kann das auch per GUI. So toll ich die Kommandozeile finde, manches find ich per GUI doch einfach besser

@The Hit-Man: was für Dateien sind denn auf der 4-TB-Platte und wie voll ist die genau? Bei bestimmten Dateitypen kannst du sehr stark komprimieren und dann bestünde die Möglichkeit alles auf eine 1-TB-Platte zu bekommen.

[tobo]

Aus multi-volume-tar-Archiven kann man auch einzelne Tarballs oder daraus auch einzelne Dateien wiederherstellen.

Klingt alles sehr umständlich. Mein fileroller (Engrampa-Archivverwaltung) kann das auch per GUI. So toll ich die Kommandozeile finde, manches find ich per GUI doch einfach besser

Fileroller ist ja nichts anders als eine graphische Benutzeroberfläche für tar, mit einer eingeschränkten/begrenzten Leistungsfähigkeit. Für manche ist sowas halt einfacher und genau das Richtige.

Was die Daten angeht, das steht schon oben: Multimedia und somit wohl auskomprimiert.

[cosinus]

Fileroller ist ja nichts anders als eine graphische Benutzeroberfläche für tar, mit einer eingeschränkten/begrenzten Leistungsfähigkeit. Für manche ist sowas halt einfacher und genau das Richtige.

Nicht nur für tar. Da ist auch mehr enthalten.

Was die Daten angeht, das steht schon oben: Multimedia und somit wohl auskomprimiert.

Ok, dann geht da bzgl Kompression wirklich wohl nichts mehr. Trotzdem frag ich mich, wie man später die Daten wieder wie ursprünglich auf ein anderes System bringen will, da wird doch früher oder später eine weitere Disk mit 4 TB oder mehr benötigt.

Zur Kompression fällt mir noch ne Anekdote von E. Weitz ein, das aber nur am Rande, siehe https://www.youtube.com/watch?v=340iGwuhdHk

[The Hit-Man]

Ne, komprimieren ist da nix. Sind alles MultiMedia Dateien. Naja, ist jetzt egal, habe sie per Hand auf die Platten verteilt.