USB-Stick mit ext4 formatieren

[humanreadable]

Hallo,

ich habe einen USB-Stick, der nur für Daten-Backup mit rsync benutzt wird. Lohnt es sich den Stick mit ext4 zu formatieren oder wird die Lebensdauer stark reduziert?

Danke

[hikaru]

Therotetisch verkürzt das Journal von ext4 die Lebensdauer. Praktisch relevant ist das aber kaum. Ich habe Sticks die deutlich über 10 Jahre alt sind und davon die meiste Zeit mit ext3/4 formatiert als Bootmedium dienten.
Das sind allerdings keine Sticks vom Grabbeltisch. Beim Einsatz eines Sticks als wichtiges Backup-Medium wäre mir trotzdem nicht ganz wohl.

[debianoli]

Wurde ext4 nicht extra für Datenträger wie USB-Sticks optimiert? In Handys mit Android wird das doch auch genutzt

[dasebastian]

Beim Einsatz eines Sticks als wichtiges Backup-Medium wäre mir trotzdem nicht ganz wohl.

Da hänge ich mich jetzt an, welches Format würdest du denn für diesen Zweck wählen?

[DeletedUserReAsG]

Für Flash bieten sich dafür optimierte FS an. Derzeit aktuell dürfte exfat sein, ansonsten gäbe es noch yaffs, und auch udf hat wohl Optimierungen für die Eigenarten von Flash (insbesondere die Tatsache, dass beim Schreiben auch nur eines Bytes u.U. ein 512kB-Block gelesen und zurückgeschrieben wird, was sich natürlich ungünstig auf die Lebensdauer auswirkt). Die ext-Dateisysteme sind hingegen eher nicht auf Flash optimiert.

Beim Einsatz eines Sticks als wichtiges Backup-Medium wäre mir trotzdem nicht ganz wohl.

Ehrlich gesagt, wäre mir überhaupt beim Einsatz eines Sticks als Backupmedium nicht wohl. Wenn das Ding einige Zeit im Schrank liegt, können schon die ersten Zellen gekippt sein. Das Fiese ist: man erkennt es nicht direkt – die Daten lassen sich lesen und alles (sofern nicht Blöcke mit FS-Infos betroffen sind). Sie sind nur kaputt – ich hab das mal bei mp3 bemerkt: von einer Sammlung auf einem Stick, der eine Weile rumlag, ließen so 5…10% nicht mehr bis zum Ende abspielen. Ein Dateisystem mit Integritätscheck würde derartiges erkennen können – was aber auch nix dran ändert, dass die Daten halt kaputt sind. Auch neigen so Sticks vergleichsweise oft dazu, von jetzt auf gleich komplett nicht mehr lesbar zu sein – was bei einem dringend notwendigen Zugriff auf das Backup auch nicht so richtig gute Laune aufkommen lässt.

[dasebastian]

Ich muss aufhören, hier weiter zu lesen, entwickle gerade eine akute Datenhypochondrie...
Zumindest habe ich noch ein 2. HDD-Backup.

[hikaru]

Da hänge ich mich jetzt an, welches Format würdest du denn für diesen Zweck wählen?

Bei mir sind es mindestens zwei räumlich getrennte, unabhängige Backups auf HDDs. Das grundlegende Konzept für ein mMn sinnvolles Backup hatte ich kürzlich hier dargestellt. [1]

Die ext-Dateisysteme sind hingegen eher nicht auf Flash optimiert.

Andererseits sind etwa zu der Zeit als ext4 seinen Durchbruch hatte mehrere Hersteller von Android-Telefonen von yaffs2 auf ext4 als Dateisystem für den internen Flash gewechselt. Ob das upstream von Android kam weiß ich nicht. Ich vermute, die ursprüngliche Entscheidung für yaffs hatte mit der Schonug des Flashs zu tun. Entweder hat man den Gedanken beim Wechsel auf ext4 über Bord gekippt oder ext4 ist doch irgendwie auf Flash ausgelegt.


[1] viewtopic.php?f=13&t=180947&p=1272650#p1272595

[MSfree]

Entweder hat man den Gedanken beim Wechsel auf ext4 über Bord gekippt oder ext4 ist doch irgendwie auf Flash ausgelegt.

Das Dateisystem spielt praktisch keine Rolle. Wenn ich eine Datei schreiben muß, dann muß ich sie schreiben. Da führt nunmal kein Weg dran vorbei. Und ob ich ein Megabyte auf ein FAT schreibe oder ein Megabyte auf ein journaling Dateisystem, macht keine praktischen Unterschied. Der Verschleiß ist mit Journal vielleicht ein Promille höher, was die Lebenserwartung eines Sticks alle 10 Jahre um knapp 4 Tage verkürzt.

Viel gefährlicher als Verschleiß ist statische Elektriziität, die einen Stick schlagartig zum Briefbeschwerer machen kann. USB-Sticks sind als Backupmedium völlig unbrauchbar.

[DeletedUserReAsG]

Das Dateisystem spielt praktisch keine Rolle.

Würde ich an dieser Stelle nicht pauschal unterschreiben – hängt vom Controller ab. Wenn der ’ne fixe Zuordnung der logischen Blöcke zu den Hardwareblöcken hat, kann der Flash mit dem falschen Dateisystem innerhalb kürzester Zeit durchgeschrieben sein. 10k Schreibvorgänge hört sich erstmal viel an; wenn aber beim Bearbeiten einer Datei (etwa Anhängen an ein Logfile) immer derselbe Block neu geschrieben wird, sind’s unter Umständen nur Tage, bis es aussteigt. Ob solche Controller heute noch in Sticks zu finden sind, weiß ich nicht. Es gab sie aber definitiv.

Bei festverbautem NAND, in SSDs und in höherwertigen Sticks sollte der Controller aber für effizientes Wear-Leveling sorgen, so dass es im normalen Gebrauch (und mit sinnvollen Mountoptionen) keinen großen Unterschied machen sollte.

Und ob ich ein Megabyte auf ein FAT schreibe oder ein Megabyte auf ein journaling Dateisystem, macht keine praktischen Unterschied.

Bei einem MB ist’s in der Tat kaum ein Unterschied. Wenn du aber viele Metadaten im kB-Bereich schreibst, ist’s hingegen schon problematisch: wie angedeutet, arbeitet Flash blockweise. Um ein Bit zu ändern, muss ein Block (512kB, heute wohl teils auch 4MB) gelesen, das Bit geändert, der ursprüngliche Block als leer markiert, und der geänderte Block neu geschrieben werden. Du möchtest dann idealerweise ein COW-Dateisystem, das am besten die Schreibvorgänge großzügig cached.

[MSfree]

Um ein Bit zu ändern, muss ein Block (512kB, heute wohl teils auch 4MB) gelesen, das Bit geändert, der ursprüngliche Block als leer markiert, und der geänderte Block neu geschrieben werden.

Im Prinzip ist das richtig, wobei deine 4MB nicht stimmen, das sollte wohl 4kB sein.

Falsch ist aber die Annahme, daß wegen einem einzelnen Bit immer der komplette Block beschrieben wird. Du vergißt, daß das Betriebssystem cachet und gerade diese vielen Metainformationen, die bei vielein kleinen Dateien entstehen, sehr effektiv gecachet werden und nur alle 20 Sekunden vom Kernel auf dem Speicher gekippt werden. Der dabei entstehende Verschleiß ist also vernachlässigbar.

Du möchtest dann idealerweise ein COW-Dateisystem, das am besten die Schreibvorgänge großzügig cached.

Das geht auch ohne COW. Gecachet wird immer, unabängig vom Dateisystem. Und wenn man /proc/sys/vm/laptop_mode auf 1 setzt, wird sogar auf das Flushen alle 20s komplett verzichtet und erst geflusht, wenn es gar nicht mehr anders geht, was bei Stromausfall dann aber auch Datenverlsut bedeutet.

[DeletedUserReAsG]

[/quote]

wobei deine 4MB nicht stimmen, das sollte wohl 4kB sein.

→

The architecture of NAND Flash means that data can be read and programmed in pages, typically between 4 KiB and 16 KiB in size, but can only be erased at the level of entire blocks consisting of multiple pages and MB in size.

(Hervorhebung von mir)

Falsch ist aber die Annahme, daß wegen einem einzelnen Bit immer der komplette Block beschrieben wird. Du vergißt, daß das Betriebssystem cachet und gerade diese vielen Metainformationen, die bei vielein kleinen Dateien entstehen, sehr effektiv gecachet werden und nur alle 20 Sekunden vom Kernel auf dem Speicher gekippt werden. Der dabei entstehende Verschleiß ist also vernachlässigbar.

Ich bin mir ziemlich sicher, dass bei mir nicht in jedem Fall nur alle 20s geschrieben wird. Insofern: nein, habe ich nicht vergessen, und ist auch nicht absolut falsch.

Um den Bogen zum Topic zurückzuführen: wenn Flash für Backups, dann SSD (gibt’s mittlerweile auch im USB-Stick-Format – sind nur nicht ganz so billig (dafür aber ziemlich schnell, an USB >3 – auch etwas, das man bei Backups im Auge haben sollte). Da muss man sich dann auch keine Gedanken über das Dateisystem machen. Aber auch die würde ich nicht beschreiben und in den Schrank legen – das Problem mit den verschwindenden Ladungen ist auch da präsent – und je höher die Speicherdichte wird, desto kleiner sind die Ladungen, und desto problematischer ist der Effekt, sofern der Hersteller das nicht wirklich gut im Griff hat.

Ansonsten bin ich persönlich der Ansicht, dass gerade für das kalte Backup das Medium und das Laufwerk getrennt zu sein haben → Bänder, optische Datenträger, etc. – da spielt dann das FS allerdings wieder eine größere Rolle.

[hikaru]

Das Dateisystem spielt praktisch keine Rolle.

Das sah man beim Design von yaffs seinerzeit anders. Das schreibt im Gegensatz zu fat geänderte Blöcke explizit an eine andere Stelle als das Original um Schreibvorgänge zu verteilen.
Das mag heute, wo die Controller-Firmware eines integrierten Datenträgers viel Intelligenz enthält eine untergeordnete Rolle spielen, aber es gibt immer noch Datenträger wo der Controller nicht integriert ist (z.b. viele SD-Karten).

Falsch ist aber die Annahme, daß wegen einem einzelnen Bit immer der komplette Block beschrieben wird. Du vergißt, daß das Betriebssystem cachet und gerade diese vielen Metainformationen, die bei vielein kleinen Dateien entstehen, sehr effektiv gecachet werden und nur alle 20 Sekunden vom Kernel auf dem Speicher gekippt werden. Der dabei entstehende Verschleiß ist also vernachlässigbar.

Ob syncron oder asyncron geschrieben wird ist eine Frage der Mount-Optionen. Asyncron ist zwar verbreiteter, aber wenn sich weder Laufwerkscontroller, noch Dateisystem um die Verteilung von Schreibzugriffen kümmern, kann es auch beim asyncronen Schreiben passieren, dass unnötig viele Blöcke geschrieben werden:
1000 kleine Dateien die alle gemeinsam in eine Flashzelle passen würden, aus historischen Gründen aber in 1000 verschiedenen Zellen liegen, würden dann trotzdem 1000 Schreibvorggänge erzeugen, statt eines einzelnen.

Ansonsten bin ich persönlich der Ansicht, dass gerade für das kalte Backup das Medium und das Laufwerk getrennt zu sein haben → Bänder, optische Datenträger, etc.

Ich verstehe den Gedanken dahinter, halte das aber gerade im privaten Umfeld für wenig praktikabel.
Bandlaufwerke sind hier praktisch nicht verbreitet. Optische Medien waren meiner Wahrnehmung nach schon immer suspekt was ihre Haltbarkeit angeht. Außerdm haben sie inzwischen das Problem, dass sie dem Speicherbedarf kaum noch gerecht werden können.
Ich würde für ein privates Backup daher auf HDDs setzen, optional mit RAID.

[DeletedUserReAsG]

Bandlaufwerke sind hier praktisch nicht verbreitet. Optische Medien waren meiner Wahrnehmung nach schon immer suspekt was ihre Haltbarkeit angeht. Außerdm haben sie inzwischen das Problem, dass sie dem Speicherbedarf kaum noch gerecht werden können.

Bandlaufwerke und Bänder gibt’s verhältnismäßig günstig, wenn man die vorletzte Generation nimmt (dann fangen sie an, aus dem kommerziellen Umfeld rauszufliegen und landen als gute gebrauchte Sachen in den einschlägigen Börsen). Jeder sollte eins haben – ich eigentlich auch. Hatte mal DLT, und hab immer mal wieder mit LTO geliebäugelt, aber mich noch nicht wirklich dazu durchringen können, weil: Ich selbst setze derzeit auf optische Medien, und komme damit prima klar. Meine wirklich unwiederbringlichen Daten passen auf eine Scheibe, und mittlerweile gibt es Scheiben mit 100GB, die für Langzeitarchivierung zertifiziert sind – die mich und meine Laufwerke also mit einiger Wahrscheinlichkeit überdauern. Wer natürlich seine Filmsammlung in 4k vorhalten will, für den mag das eher weniger geeignet sein. Meine „Arbeits-“Backups sind hingegen umfangreicher und beinhalten eigentlich wiederbeschaffbare Sachen (Filme, sonstige Videos, Bücher, Zeitschriften, …) – dafür stehen drei USB-HDDs zur Verfügung.

Aber ist auch wieder furchtbar OT, alles – mein dringendstes On-Topic-Argument gegen Sticks als Backupmedium hab ich ja schon angeführt: je nach Qualität gibt’s da Datensalat, und nachdem ich das selbst erlebt habe, sehe ich die Sticks nur noch als kurzfristige Transfermedien an.

[wanne]

Also mal ein paar Kommentare zum Thema:

• Journals wurden nicht zum Spaß eingeführt, sondern um Datenverlust insbesondere bei Stromunterbrechungen zu minimieren. (Aber nicht zu verhindern. Es geht darum Daten, die lange vor dem Ausfall geschrieben wurden intakt bleiben.) Gerade USB-Sticks sind durch ihre Exponiertheit besonders gefährdet für Stromausfälle. Wer also USB-Sticks wirklich zum Speichern von Daten (und nicht nur zum Transportieren, wo jederzeit einfach wieder aufs Original zugegriffen werden kann) nutzt, will auf jeden Fall gerade da ein journaling Filesystem nehmen. Damit fällt FAT und ext2 IMHO für deinen Anwendungsfall flach.
• exfat ist zwar ein explizit für USB-Sticks und ähnliches optimiertes FAT. Aber es ist eben nur ein FAT. Die Optimierungen Änderungen auf wenige Blöcke zu konzentrieren (Größere clustes Clusters, Alighments) dürften denen moderner Dateisysteme (ext*, NTFS...) deutlich unterlegen sein. Gerade für ext4 hat sich da nochmal einiges getan. Da bist du sicher viel besser als mit exfat dran. Der Hintergrund war dass MS klar war, dass nicht jede Glühbirne NTFS lernen kann. Und schon gar nicht ständig Updates für die neusten Features, die bei NTFS immer noch regelmäßig dazu kommen, bekommen kann. Das Dateisystem ist sozusagen auf Kleinstgeräte und Portabilität Optimiert, die als übliche Nutzer von SD-Karten wichtig sind. Nicht so sehr auf die Technik selbst.
  Außerdem wollte man ein Dateisystem haben, dass man locker an jeden Lizenzieren kann (deswegen kamen freie Dateisysteme wie JFFS2 nicht in Frage) ohne direkt die Kronjuwelen (NTFS) hergeben zu müssen.
• Wie schon angemerkt für die Lebensdauer dürften vor allem copy and write Dateisysteme oder Dateisysteme mit eingebautem wear leaveling Optimal sein. btrfs hat mit dem SSD-Parameter explizit passende Optimierungen sonst gibt es das genannte F2FS. Wie schon angemerkt nutzt das kaum jemand. Scheint nicht wirklich viel zu bringen.
• USB-Sticks haben verdammt oft Schreibfehler. So vor 10 Jahren war die Faustformal üblicherweise so einer pro geschriebenem GiB. – Und das ganze vollständig silent. (Also ohne Checksummen merkst du nicht, dass was schief gegangen ist.) Das ist besser geworden. Aber immer noch nicht wirklich zuverlässig. Dafür sind sie mittlerweile schön billig. Ich benutze mittlerweile ganz gerne btrfs im dup mode. Dann wird alles doppelt und beim lesen überprüft, ob alles korrekt ist. (Und falls nicht, die Kopie ausgeliefert.) Halbiert den Speicherplatz ist mir aber Wurst.
• Ich weiß nicht, was du für Daten backupst. Gerade beim lesen von vielen keinen Dateien, wird dir ext4 wahnsinnig viel performanter sein wie dümmere Dateisysteme. Da USB-Sticks nicht rasend schnell sind, ist das ein großer Vorteil.
• Wie gesagt: USB-Sticks sterben ganz gerne ohne Vorankündigung. Wenn das ein Backup ist: Prüfe regelmäßig ob das noch ließt.

[humanreadable]

Vielen Dank für eure Antworten.

Mein *Haupt-Backup* erstelle ich auf einer externen Festplatte (HDD, ext4).
Um paranoid und sicherer zu sein, benutze ich auch ein paar USB-Sticks (selbstverständlich vom Grabbeltisch) meistens um $HOME Dateien zu kopieren. Die Sticks sind mit Fat32 formatiert.

Das Problem ist, dass die Dateirechte der Files manchmal nicht stimmen.

Z. B. .directory sollte -rw------- sein, ist aber -rw-r--r-- u. s. w.

Deswegen habe ich gedacht die Sticks mit ext4 zu formatieren.

Ich habe jetzt exfat ausprobiert. Der USB-Stick wird so (von Desktop) eingehängt:

Code: Alles auswählen

$ mount -l
[…] 
...type fuseblk (rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other,blksize=4096,uhelper=udisks2)

Dateirechte der Verzeichnisse:

Code: Alles auswählen

drwxrwxrwx

Dateirechte der Files:

Code: Alles auswählen

-rwxrwxrwx

Das Dateisystem ist leider katastrophal und unbrauchbar.

[dasebastian]

Das Dateisystem ist leider katastrophal und unbrauchbar.

Das ist der Grund, weshalb ich (ausser Musik und Bildern) bei mir auch sämtliche Backups (auf HDD und Sticks) mit ext4 mache.

Bisher war ein Stick mein Hauptbackupmedium, im Sinne von regelmäßiger und aufgeräumter, nach deinem Thread hier bin ich jetzt aber schwer am Überlegen, das genau umzudrehen, also HDD Hauptbackup und Stick unaufgeräumter (mit sämtlichen alten Dateien, die man nur VIELLEICHT irgendwann mal wieder brauchen könnte), aber ext4 beizubehalten.

[DeletedUserReAsG]

Die Sticks sind mit Fat32 formatiert.
Das Problem ist, dass die Dateirechte der Files manchmal nicht stimmen.

Die Ursache ist, dass FAT keine POSIX-Rechte kennt. Entsprechend exFAT auch nicht. Die konkreten Rechte der Files darunter werden über die Mountoptionen geregelt.

Ein Dateisystem als unbrauchbar und katastrophal zu bezeichnen, weil man’s Manual nicht gelesen hat, oder einem so’n bisschen Grundlagenwissen fehlt, finde ich dann schon irgendwie fragwürdig, btw.

[dasebastian]

Ein Dateisystem als unbrauchbar und katastrophal zu bezeichnen, weil man’s Manual nicht gelesen hat, oder einem so’n bisschen Grundlagenwissen fehlt, finde ich dann schon irgendwie fragwürdig, btw.

Für seinen Anwendungsfall stimmt das schon so. FAT/exFAT kann aber natürlich schon auch Vorteile haben, gerade wenn man mit unterschiedlichen Systemen arbeiten muss oder auch mal die Rechte extra NICHT mitnehmen will zum Beispiel.

Mir lag das auch auf der Zunge, aber ich hab die Aussage dann einfach auf seinen speziellen Fall bezogen.