2Mio. Dateien kopieren

[alexander_ro]

Hi,

ich muss immer wieder große Mengen an Dateien kopieren, so ca. 2 Mio. in der Größe von 5-30 KB.

Das dauert ... und dauert mir zu lange, über einen Tag mit cp -rp ...

Jetzt hatte ich schon mal versucht das in ein Tar zu packen dann kopieren und wieder auszupacken. Alle drei Schritte zusammen sind aber nicht wirklich schneller als cp.

Habt Ihr vielleicht einen Tipp, wie ich diese vielen Dateien kopieren kann, ohne so lange Warten zu müssen. Das tar-Archiv zu kopieren ging relativ schnell also an der reinen Zeit die Daten zu übertragen kann es nicht liegen.

Grüße
Alexander

[Mictlan]

das problem sind nicht die daten selbst sondern die dateisystemorganisation rundherum.... um das wirst du einfach nicht herum kommen...... das einzieg was schneller gehn würde wäre wenn du das alles auf eine eigene partition haust, die unmontest, mit dd kopierst und dann wieder mountest.... is halt die frage was du für daten hast....

frage: wieviel ändert sich denn an den datein? ändern sich fast alle files oder nur wenige davon.... wenn es nur wenige sind köntnest es vllt mit rsync oder ähnlichen tools schneller schaffen....
wenn sich die masse der daten ändert (dh >70%) dann wirst nicht so wirklich darum kommen....

[HELLinG3R]

Evtl hilft auch ein Deteisystemumstieg. Such dir ein Dateisystem, dass viele kleine Dateiene ffizient handeln kann.

[comes]

sehr viel schneller ist der vorgang, wenn du die ausgabe ausblendest... sprich cp nicht auf die konsole irgendwelche statusinfos schreiben lässt...
die prio hochsetzen mit nice wäre noch ne option
rsync wurde bereits erwähnt

[Mictlan]

sehr viel schneller ist der vorgang, wenn du die ausgabe ausblendest... sprich cp nicht auf die konsole irgendwelche statusinfos schreiben lässt...

sehr guter einwand!

ich hab mal alle pakete die mittels masquarding weitergeleitet werden auf die Konsole ausgeben lassen.... mal abgesehn davon dass ich an einer Überflutung von messages fast den schwarzen hintergrund der console nimma gesehn hätt is der datendurchsatz übers masquarding auf 10-15 kbyte/s eingebrochen... ausgabe auf /dev/null wird sicher etwas bringen

[ThorstenS]

ein Ansatz, der eine Stufe unter cp, rsync & Co. ansetzt ist der dump des Filesystems.
Handelt es sich um ext3? Dann nutze dump und kopiere die Datei - ist nur so eine spontane Idee...

[alexander_ro]

Allen danke für die Antworten.

Es handelt sich um Produktfotos. Die Änderungen sind nicht so viele vielleicht 1% pro Tag. Ich dachte an rsync zu erstellen einer täglichen Sicherung. Aber wenn Platte defekt sind oder umgebaut werden soll geht das natürlich so nicht.

Also bei mir gibt cp -rp nichts an der Konsole aus. Also z.B keine Auflistung der Dateien.

Mein Problem ist, dass ich zurzeit an meinem Software-Raid öfters mal Änderungen mache und dazu die Dateien erst in Sicherheit bringen muss und dann wieder zurück.

Nach euren Antworten komme ich zu dem Schluss, dass es vermutlich besser ist, die Dateien während der Umbau/Test Zeit auf eine einzelne Platte auszulagern und erst wenn das Raid optimal läuft. Diese zurück zu kopieren.

Wenn man mit dd die Partition kopiert, kann das dann auch ein mit LVM verwaltetes Volum sein. Also so z.B.:

Code: Alles auswählen

dd if=/dev/bilder of=/Sicherung_Bilder

Eine Größe muss man ja dann nicht angeben da einfach alles von /dev/bilder in eine Datei kopiert wird. Aber wenn man die Sicherungs_Datei dann zurückschreibt, muss das LVM-Volum genau die gleiche Größe wieder haben. Oder?

Kleiner geht nicht ist klar. Aber was wäre, wenn diese größer ist. Kann man die dann mit einem Programm zum Vergrößern des Filesystems auf die neue Größe erweitern?

Alexander

[KBDCALLS]

Größer funktioniert mit dd auch nicht richtig, dann wird Platz verschenkt.

Rsync wird die beste Lösung sein. Rsync muß alles einmalig kopieren. Und dann nur noch die geänderten Dateien. Und ist auch in der Lage nicht mehr vohandene zu löschen.

PS 2 Miols ist das nicht etwas zu hoch gegriffen ?

[alexander_ro]

OK, dann versuche ich es mal mit rsync.

Etwas, ja, aber nicht viel. Da Suchen im Filesystem bei dieser Menge an Dateien langsam ist verwalte ich eine Liste der Dateinamen in der Datenbank.

Aktuelle: 1701935 Bilder

Alexander

[Mictlan]

Etwas, ja, aber nicht viel. Da Suchen im Filesystem bei dieser Menge an Dateien langsam ist verwalte ich eine Liste der Dateinamen in der Datenbank.

gute idee

[Leonidas]

Etwa `locate`?

[debian-newbie-501589999]

[...]

ich muss immer wieder große Mengen an Dateien kopieren, so ca. 2 Mio. in der Größe von 5-30 KB.

Das dauert ... und dauert mir zu lange, über einen Tag mit cp -rp ...

[...]

Habt Ihr vielleicht einen Tipp, wie ich diese vielen Dateien kopieren kann, ohne so lange Warten zu müssen. [...]

Hallo,

wie wäre es mit ausgehängter Partition, von der Du
ein Image mit "partimage" (in diesem Fall mit
höchstens mittlerer Kompression) erstellst?

Das ginge in wenigen Stunden, nicht?

HTH


PS:
Es schreibt Dir hier ein Anfänger! Also vorsicht...

PPS:
Das Wiederherstellen eines solchen Images könnte
unter Umständen nur auf exakt gleich großer
Partition möglich sein...

[alexander_ro]

Hallo,

danke für die Antworten und sorry, dass die Antwort so lange dauerte, ich war eine weile abwesend.

Was ist denn locate, sagt mir im Moment nicht viel?

Das mit dem Kopieren der Daten muss im laufenden Betrieb erfolgen, da die Bilder im Shop angezeigt werden müssen.
Wer mag, kann sich einen Teil unter http://www.abygale.de anschauen. Die Suchfunktion ist noch ein bisschen langsam sonst funktioniert sie schon recht ordentlich. Mit an paar Änderungen an Soft/Hardware sollte dann auch die Geschwindigkeit passen.

Gruß
Alexander

[markus_b]

locate - list files in databases that match a pattern

[alexander_ro]

Nein nicht mit locate, ist ein selbst geschriebenes Programm. Da ich noch einen Hash mit speichere und kleine Bildchen für die Ergebnisliste der Suchfunktion erzeuge. Der Hash dient dazu zweifelsfrei festzustellen, ob die Datei seit dem letzten Durchlauf verändert wurde.

Alexander

[Hans-Martin]

Hallo,

da Du schreibst, dass nur ca. 1% täglich betroffen ist - das wären 20000 Blder - würde ich als Parameter für cp statt -pr -upr verwenden. Es wird dann nur kopiert, wenn eine Datei mit dem jeweiligen Namen entweder nicht existiert oder älteren Datums ist.

Da Du beim Kopieren mit dem Parameter -p nicht nur die Rechte, sondern auch das Datum beibehältst, müßte das klappen. Auf diese Weise reicht das Absuchen der directories, der ganze Schreibverkehr wird drastisch reduziert, und die erforderliche Zeit dürfte minimiert werden.

Gruß

Hans-Martin

[alexander_ro]

Hallo Hans-Martin,

Du hast da nicht unrecht. Es ging mir aber nicht darum die Aktualisierungen zu kopieren sondern den gesamten Datenbestand. Das mit den Aktualisierungen erledigt ein kleines PHP-Programm.

Zu Sicherungszwecken habe ich jetzt mal rsync getestet ist aber auch nicht so toll. Der baut eine komplette Fileliste im Speicher auf die bei der Menge von Files viel zu viel Arbeitsspeicher belegt.

Für den Fall dass das Speichersystem umgebaut wird muss ich auch die ganzen Daten übertragen und das dauer halt sehr lange aber so wie es aussieht, lässt sich das nicht ändern.

Gruß
Alexander