Seite 1 von 1
rsync und Plattenplatz (gelöst)
Verfasst: 01.02.2025 11:13:00
von fischig
Ich wollte via rsync -a Videodateien von Partition A auf Partition B sichern.
In A befindet sich ein neues Video (2,2GB) mit dem gleichen Namen wie dem in B (2,1GB). Es sind also in meinem Verständnis zwar unterschiedliche Dateien, aber mit dem gleichen Namen. Auf B wird freier Platz von 2,0GB angezeigt. Root-Reserve ist auf 0 gesetzt und rsync wird nicht erstmals angewendet. Ich ging davon aus, dass die eine alte Datei von der neuen einfach überschrieben wurde, d.h. kein zusätzlicher Platz benötigt wurde (Mal abgesehen von dem 0,1GB Größenunterschied). Hat aber nicht funktioniert: Abbruch des Übertragens mit
Wie erklärt sich das?
Ich habe dann das alte Video in B aus dem Weg gräumt. Danach lief das rsync-Kommando fehlerfrei. Ich muss also Platz freihalten, den ich gar nicht - wohl aber rsync zur Laufzeit nutzen will?
Re: rsync und Plattenplatz
Verfasst: 01.02.2025 11:28:22
von Tintom
Du bist schon von selbst auf die Lösung gekommen:
Es sind also in meinem Verständnis zwar unterschiedliche Dateien, aber mit dem gleichen Namen.
Ich muss also Platz freihalten, den ich gar nicht - wohl aber rsync zur Laufzeit nutzen will?
rsync != cp
Re: rsync und Plattenplatz
Verfasst: 01.02.2025 11:39:43
von kreuzschnabel
Welches Dateisystem ist auf dem Medium?
„Einfach überschreiben“ geht schon deshalb physisch nicht, weil die neue Datei nicht an derselben Stelle im Datenbereich landen wird wie die alte. Was du erwartest, ist „erst die alte löschen, dann die neue schreiben“ (was du dann ja auch manuell gemacht hast) oder „während des Schreibvorganges auch die alte Version als potentiell freien Platz betrachten“. Das machen aktuelle Dateisystemformate aber nicht, einfach zur Sicherheit, um bei eventuellen Schreibfehlern (denk z.B. an einen Stromausfall während des Schreibens) die Datei nicht ganz zu verlieren. Die alte Version wird erst gelöscht, wenn die neue drauf ist. Ob das im Detail mit Journaling oder Copy-on-write gelöst wird, ist unwesentlich, der freie Platz wird jedenfalls erstmal gebraucht.
Dass ein so rammelvolles Dateisystem heftig fragmentiert, weil zum Schreiben jede Lücke ausgenutzt werden muss, bedarf hoffentlich keiner Erwähnung. Man füllt ein Dateisystem einfach nicht weiter als 80 Prozent.
--ks
Re: rsync und Plattenplatz
Verfasst: 01.02.2025 11:52:16
von fischig
kreuzschnabel hat geschrieben:Welches Dateisystem ist auf dem Medium?
ext2.
kreuzschnabel hat geschrieben:Was du erwartest, ist „erst die alte löschen, dann die neue schreiben“ (was du dann ja auch manuell gemacht hast) oder „während des Schreibvorganges auch die alte Version als potentiell freien Platz betrachten“.
Ja. cp hätte das ermöglicht. Mit rsync keine Chance?
kreuzschnabel hat geschrieben:Man füllt ein Dateisystem einfach nicht weiter als 80 Prozent.
Mit meinem Geiz fühle ich mich, Archive/backups betreffend, eigentlich ganz wohl.
Re: rsync und Plattenplatz
Verfasst: 01.02.2025 11:54:38
von kreuzschnabel
fischig hat geschrieben: 
01.02.2025 11:52:16
kreuzschnabel hat geschrieben:Welches Dateisystem ist auf dem Medium?
ext2.
Kein Journaling. Ja, dann geht das noch knapp 13 Jahre lang. Ich sprach ja auch von aktuellen Formaten
--ks
Re: rsync und Plattenplatz
Verfasst: 01.02.2025 11:56:37
von fischig
Ja, dann geht das noch 13 Jahre lang.
Hmm, aber es „ging“ doch nicht?
Re: rsync und Plattenplatz
Verfasst: 01.02.2025 12:02:58
von kreuzschnabel
rsync findet Sicherheit geil, nicht Geiz.
--ks
Re: rsync und Plattenplatz
Verfasst: 01.02.2025 12:23:21
von reox
fischig hat geschrieben: 01.02.2025 11:56:37
Ja, dann geht das noch 13 Jahre lang.
Hmm, aber es „ging“ doch nicht?
Glaube kreuzschnabel meint das hier:
https://en.m.wikipedia.org/wiki/Year_2038_problem
Re: rsync und Plattenplatz
Verfasst: 01.02.2025 12:24:23
von JTH
rsync hat die
Option --inplace, die sein dürfte, was du suchst, fischig. Zu den Risiken und Nebenwirkungen – gerade wenns hier um ein Backup geht – kann ich allerdings nicht viel sagen, habe die Option noch nie benutzt.
Re: rsync und Plattenplatz
Verfasst: 01.02.2025 12:28:22
von MSfree
fischig hat geschrieben: 01.02.2025 11:13:00
Wie erklärt sich das?
Ich muss also Platz freihalten, den ich gar nicht - wohl aber rsync zur Laufzeit nutzen will?
rsync kopiert die zu übertragende Datei erst mal auf eine temporäry Datei auf dem Zieldatenträger. Erst, wenn die Übertragung der Datei abgeschlossen ist, wird die Datei auf dem Zieldatenträger gelöscht und die temporäre Datei in den Namen der eigentlichen Datei umbenannt.
Das kann man selbst verfolgen, in dem man ein Terminal öffnet, auf das Verzeichnis des Zieldatenträgers wechselt und dort
ausführt.
Der Sinn ist, daß, wenn die Übertragung abbricht, die ursprüngliche Datei noch intakt und vorhanden ist. Darum wird nicht direkt überschrieben (außer siehe JTH). Mit dem Darteisystem hat das übrigens nichts zu tun. Es muß also immer mindestens so viel Platz auf dem Zieldatenträger frei sein, um die zu übertragende Datei speichern zu können.
Re: rsync und Plattenplatz
Verfasst: 01.02.2025 12:45:54
von fischig
Vielen Dank für die vielen detaillierten Hinweise!
„inplace“ werde ich mir anschauen. Ich könnte mir vorstellen, dass man solche (im Endeffekt ja doch zu löschenden Dateien) temporär irgendwohin sichert, wo - evtl. nach Rücksprache mit dem Benutzer -genügend Platz vorhanden ist. (So habe ich das übrigens auch im aktuellen Versuch sicherheitshalber gemacht.) Vielleicht versuche ich mir sowas zu scripten, aber bei meinen geringen shell-Syntax-Kenntnissen bin ich skeptisch, ob mir das gelingt.
Re: rsync und Plattenplatz
Verfasst: 04.02.2025 13:37:51
von fischig
Ich werde erst mal austesten, ob die Option -n (Simulation) nicht einfacher einerseits die Gefahren von --inplace und andererseits die Mühen eines entsprechenden scriptings ohne Sicherheitseinbußen umgeht und trotzdem mein „Geiz“ auf seine Kosten kommt.
Re: rsync und Plattenplatz
Verfasst: 04.02.2025 14:33:12
von MSfree
fischig hat geschrieben: 04.02.2025 13:37:51
...und trotzdem mein „Geiz“ auf seine Kosten kommt.
Solange du die Geizhaltung nicht auch bei deiner Backupstrategie einsetzt. Im Backup darf halt ein Fehler nicht zu korrupten Dateien führen. Daher ist zumindest für Backupzwecke die Benutzung der inplace-Option dringend abzuraten. Was man im Backup definitiv nicht will, sind kaputte Dateien.
Wenn es nur darum geht, Daten zum Zweck des Datentransports auf einen Stick zu kopieren, sind eventuelle Fehler nicht schlimm. Man kann die Daten im Ferhlerfall ja noch mal auf einen größeren Stick schreiben.
Re: rsync und Plattenplatz (gelöst)
Verfasst: 05.02.2025 15:10:43
von wanne
Zum Verständnis: Nimm mal deine Datei mach sie mit less lauf, lösche sie, guck dann mit df wie viel platz belegt, mach dann less zu und guck dann mal wie viel Platz noch benötigt wird. Da rsync ja versucht nur Veränerungen zu übertragen ist relativ klar, warum das so ist, wenn man da nicht extra Vorkehrungen trifft.
Re: rsync und Plattenplatz (gelöst)
Verfasst: 05.02.2025 21:45:18
von fischig
Also ich weiß nicht: ca. 2GB/GiB große Videos mit less öffnen? Ich hatte eingangs gesagt, dass es um Sicherheitskopien von Videos geht. Ich denke auch, zum Verständnis hat kreuzschnabel schon das Nötige gesagt. Vielleicht ist der Ausdruck „backup“ auch zu hochtrabend für meine Dateiensicherung. Der Parameter -n bei rsync liefert mir einen genügend deutlichen Überblick darüber, was rsync zu veranstalten gedenkt, so dass ich außerhalb von rsync noch Möglichkeiten für ein vorsorglich sicheres Kopieren habe. md5-Summen zu jeder Datei sind ebenfalls vorhanden. Das mag dann in der Umsetzung etwas umständlich sein, aber Ich glaube nicht, dass ich vor diesem Hintergrund Gefahr laufe, mit --inplace als rsync-Parameter Daten zu verlieren.
Re: rsync und Plattenplatz (gelöst)
Verfasst: 05.02.2025 23:00:40
von cosinus
fischig hat geschrieben: 01.02.2025 11:13:00
Ich ging davon aus, dass die eine alte Datei von der neuen einfach überschrieben wurde, d.h. kein zusätzlicher Platz benötigt wurde (Mal abgesehen von dem 0,1GB Größenunterschied).
Ich glaube du musst rsync anweisen, dass er erst eine zu überschreibende Datei löschen soll.
Code: Alles auswählen
--delete-before
Request that the file-deletions on the receiving side be done before the transfer starts. See --delete (which is implied) for more details on file-deletion.
Mach aber vorher unbedingt einen dry-run.
Re: rsync und Plattenplatz (gelöst)
Verfasst: 06.02.2025 00:38:52
von wanne
fischig hat geschrieben: 05.02.2025 21:45:18
Also ich weiß nicht: ca. 2GB/GiB große Videos mit less öffnen?
Warum nicht? less ist noch aus ner Zeit als speicher knapp und platten langsam waren. Das ließt (bis du runter scrollst) nur so viel, wie auf deinen Bildschirm passt. Was bei binary-Dateien noch weniger ist als normal.
fischig hat geschrieben: 05.02.2025 21:45:18
Ich hatte eingangs gesagt, dass es um Sicherheitskopien von Videos geht. Ich denke auch, zum Verständnis hat kreuzschnabel schon das Nötige gesagt.
Das ist nicht so sehr eine rsync-Eigenschaft sondern eine von Linux. Linux hält automatisch immer eine Kopie aller geöffneten Datei auf der Platte. Windows macht das nicht. Das macht viele Sachen deutlich einfacher: Man braucht dann keine Kopie im RAM halten oder Dateien umbenennen wenn 2 Programme die gleiche Datei öffnen. (Siehe Dateien mit $ am Anfang oder .part am Ende.) Leider sind die meisten Programme heute für multi-Plattform geschrieben und weigern sich oft vollständig 2 mal die gleiche Datei zu öffnen.