[beantwortet] Ausfallsicherheit bei RAID5 gering, wenne einzelne Platte zu groß?

[buhtz]

Es geht um den Golem Artikel Ein Fünftel der Daten in Festplattenarchiven nicht lesbar und die Kommentare dazu. U.a. diese Kommentare.

Ich habe es nicht ganz verstanden, aber dort wird wohl behauptet, dass ein RAID5 rechnerisch bzgl. der Ausfallsicherheit keinen Sinn ergibt, wenn die einzelnen physischen Platten zu groß sind. Es ist "sicherer", wenn die Platten kleiner sind.

Kann das jemand genauer erklären, was hinter der Theorie steckt und ob da evtl. was dran sein könnte. Ich konnte dem nicht so ganz folgen.

[MSfree]

Ich habe es nicht ganz verstanden

Dann lies den Artikel nochzmal durch

aber dort wird wohl behauptet, dass ein RAID5 rechnerisch bzgl. der Ausfallsicherheit keinen Sinn ergibt

Von RAID ist in dem Artikel überhaupt keine Rede (das hat erst ein Kommentator unsinnigerweise aufgeworfen)

In dem Artikel geht es um alte Musikaufnahmen. Wenn ein Musikproduzent vor 35 Jahren seine Tonmachwerke digitalisiert hat und auf ESDI- oder RLL/MFM-Platten gesichert hat, hat der heute ein Problem, wenn der nochmal auf die Originale zwecks Neuabmischung zugreifen will.

Wer so eine uralte Platte aus dem Keller hochholt, wird feststellen müssen, daß heutigen Rechnern schlicht die Schnittstelle fehlt, um auf die Platten zugreifen zu können.

Das Füntel, auf das der Artikel anspielt, sind solche Daten, die niemals auf neuere Medien umkopiert wurden und heute deshalb nicht mehr lesbar sind. Dazu muß die Festplatte nichtmal defekt sein.

Der Artikel ist mal wieder typischer Alarmismus. Jeder, dem seine Daten halbwegs wertvoll sind, muß halt dafür sorgen, seine Daten etwa alle Fünf Jahre auf die nächste Technologie umzukopieren. Das hilft nicht nur gegen defekte Hardware sondern auch gegen obsolete Schnittstellen wie ESDI, RLL/MFM, SCSI, IDE und fehlende Floppykontroller, über die man früher mal billige Bandlaufwerke anschließen konnte.

[buhtz]

Tut mir Leid, dann habe ich mich missverständlich ausgedrückt. Es geht nicht um den Artikel, sondern wirklich nur um den RAID5-Kommentar dazu.

Der Artikel ist ja banal. Da gibt es nicht viel zu verstehen.

[Livingston]

Mal unabhängig von dem Kommentar: RAID5 liefert eine gewisse Ausfallsicherheit, weil die Daten redundant gespeichert werden. Bei 4 Platten hast Du dann Speicherplatz für 3 + der Möglichkeit, eine fehlerhafte Platte auszutauschen. Bei Ausfall einer Platte, ist das RAID dann noch lauffähig, aber natürlich gefährdet, dass eine weitere Platte abraucht. Und das wär's dann gewesen.
Es ist noch nicht mal so unwahrscheinlich, dass mehrere Platten kurz hintereinander aufgeben, wenn z.B. alle Platten ab Werk aus einer Charge kommen.

Es gibt aber auch Möglichkeiten, sich abzusichern. Eine zusätzliche Spare-Platte wartet zum Beispiel passiv auf ihren Einsatz und springt ein, wenn eine der regulären Platten ausfällt. Ein Restrisiko bleibt aber auch hier: Während die Spare-Platte befüllt wird, könnte noch eine weitere ausfallen, und das System ist platt.

Daher die alte Weisheit: RAID ist kein Backup. RAID sorgt für Verfügbarkeit im Dauerbetrieb, zu mehr kann man es nicht zwingen.
Warnzeichen sollte man immer ernst nehmen (SMART-Werte und Logs checken, seltsame Geräusche sind heftige Warnungen bei Drehplatten), und ein Austausch sollte eingeplant werden, bevor eine Platte zu alt wird.

[cosinus]

Und das wär's dann gewesen.

Deswegen wird doch schon länger RAID6 empfohlen, damit auch zwei Platten ausfallen können. Unsere dicken NAS mit mehreren 8-TB-Platten hab ich jedenfalls als RAID6 konfiguriert.

[Livingston]

6 würd ich auch empfehlen. Privat lass ich's aber bei 5, so kritisch ist's nicht bei mir zuhause.
Aber trotzdem auch bei RAID 6: Backup rulez!

[cosinus]

Aber trotzdem auch bei RAID 6: Backup rulez!

Ja. Ich weiß nicht warum immer noch so viele glauben, dass man kein Backup brauche nur weil man ein RAID hat.

[heisenberg]

Wichtige Massnahmen sind dabei für mich die Smart-Daten-Überwachung und die regelmässige Datenprüfung. Das gibt frühzeitige Informationen über das Ableben von Platten und SSDs. Im einfachsten Fall kann man da mit den Smartmontools Mails verschicken lassen. Regelmässige Datenprüfung (wöchentlich, monatlich) stresst die Platten als "wackeln am Baum". Ist die Platte da ohnehin schon auf der Kippe, fällt sie bei so einer Prüfung dann (glücklicherweise) früher aus, und verhindert so, dass mehrere Platten sich in den Zustand baldigen ausfallens bewegen und dann evtl. den schlimmsten Fall Datenverlust durch "mehr gleichzeitige Plattenausfälle als verkraftbar" auslösen.

Ansonsten hatte ich bei mir den Spezialfall, dass ich bei einem System, dass sehr stark belastet war, nach Ausfall einer Platte von einem RAID-5, nicht mehr genug Leistung hatte und dass das RAID somit faktisch ausgefallen ist. D. h. dabei hatte die Berücksichtigung gefehlt, dass das System auch bei Ausfall ggf. noch genug Leistung haben muss, um die Normallast bewältigen zu können.

Backup haben versteht sich von selbst.

Für mich persönlich möchte ich das auch eher vermeiden, dass ich auf das Backup zurück greifen muss. Wenn ein RAID Array kaputt ist, ist das üblicherweise deutlich mehr Arbeit als einfach nur Platte austauschen.

[Livingston]

Aus gegebenen Anlass also noch mal der Link zur (nicht ganz erfundenen) Weihnachtsgeschichte: viewtopic.php?t=188658
Sollte Warnung genug sein.

[MSfree]

6 würd ich auch empfehlen. Privat lass ich's aber bei 5

Letztlich ist es auch eine Kostenfrage.

Mainboards mit vielen SATA-Ports sind teurer als 0815-Boards mit 4 SATA-Ports, und ersatzweise eingebaute zusätiche PCIe-SATA-Karten bedeuten Aufpreis. Ein Fünf-Platten-RAID6 ist teurer als 4-Platten-RAID5. Auch spezielle NAS-Systeme werden umso teurer je mehr Platten man darin unterbringen kann.

Im beruflichen Umfeld ist es kein Problem, mal eben ein NAS mit zwölf 20TB-Platten zu beschaffen. Das bekommt man inzwischen für unter 8000€ inkl. MwSt. Das kann dann jahrelang von mehreren Mitarbeitern genutzt werden, so daß die Kosten pro Mitarbeiter gar nicht mal so hoch ausfallen. Verglichen mit anderen Betriebsskosten ist das sogar relativ wenig. Privat wären mir aber 8000€ doch ein wenig zu viel.

Und auch, wenn es immer heißt, RAID ist kein Backup, bei mir ist es das Backup. Die Daten sitzen bei mir auf einem Server mit eine einzelnen ausreichend dimensionierten Platte. Diese Platte wird täglich auf das RAID-System synchronisiert. Daß ich dann auch gerne etwas Sicherheit gegen den Ausfall einer Platte habe, sollte selbstverständlich sein.

[cosinus]

Letztlich ist es auch eine Kostenfrage.
Mainboards mit vielen SATA-Ports sind teurer als 0815-Boards mit 4 SATA-Ports,

Für privat halte ich das auch für Quatsch. Aber ich bin wohl auch was privat angeht eher genügsam, ich brauch da kein NAS und schon gar keins mit einer RAID6-Konfig. Im beruflichen Bereich würde ich mit dem Kopf schütteln wenn es bloß an der Anzahl der SATA-Ports scheitert.

Und auch, wenn es immer heißt, RAID ist kein Backup, bei mir ist es das Backup.

Das hat ja auch niemand bestritten. Es ist sogar üblich, dass man seine Backups auf ein RAID-System schreibt (oder benutzt jemand noch Bänder, LTO?) - gemeint war aber, dass man nicht einfach nur nen Server mit RAID-Konfig betreibt und niemals Kopien der Dateien/Datenbanken von diesem Server macht nur weil dieser mit nem RAID läuft.

[cosinus]

Aus gegebenen Anlass also noch mal der Link zur (nicht ganz erfundenen) Weihnachtsgeschichte: viewtopic.php?t=188658
Sollte Warnung genug sein.

Eine schöne Geschichte, vielen Dank für den Link

[MSfree]

Es ist sogar üblich, dass man seine Backups auf ein RAID-System schreibt

Wenn der Bedarf entsprechend groß genug ist, hat man ohnehin kaum eine andere Wahl. Im hundert(e) TB-Bereich paßt halt nichts mehr auf einen einzelnen Datenträger, da ist man gezwungen, mehrere Datenträger zu einer logischen Einheit (nennen wir es RAID) zusammenzufassen. Vor kurzem habe ich aber gelesen, daß SSDs mit 120TB Kapazität in den Startlöschern stehen, aber auch die wird man nicht geschenkt bekommen. Im 2.5"-Gehäuse sind die aber schön klein im Vergleich zu einem 2HE-19" Einschub,

oder benutzt jemand noch Bänder, LTO?

Bänder habe ich schon immer gehaßt.

- gemeint war aber, dass man nicht einfach nur nen Server mit RAID-Konfig betreibt und niemals Kopien der Dateien/Datenbanken von diesem Server macht nur weil dieser mit nem RAID läuft.

Sehr richtig.

[schorsch_76]

https://www.edp-germany.de/news/lto/lto ... s-wachstum

LTO wächst auch heute

[hikaru]

Es gibt aber auch Möglichkeiten, sich abzusichern. Eine zusätzliche Spare-Platte wartet zum Beispiel passiv auf ihren Einsatz und springt ein, wenn eine der regulären Platten ausfällt.

6 würd ich auch empfehlen. Privat lass ich's aber bei 5, so kritisch ist's nicht bei mir zuhause.

Möglicherweise habe ich das etwas übereifrig zusammengestückelt, aber verstehe ich das richtig, dass du privat RAID5 mit Spare fährst? Falls ja, warum dann kein RAID6 ohne Spare?

[Livingston]

Möglicherweise habe ich das etwas übereifrig zusammengestückelt, aber verstehe ich das richtig, dass du privat RAID5 mit Spare fährst? Falls ja, warum dann kein RAID6 ohne Spare?

Es ging um die Frage, ob RAID 5 oder 6 eingesetzt werden, und da würde ich beruflich auf RAID 6 (+Spare) setzen.
Privat geht's nur um meinen Media-Server/Datengrab auf einem NAS mit RAID 5. Das Gerät ist noch nicht mal im Dauerbetrieb. Da reichen mir 4 x 2TB ohne Spare.

[MSfree]

Da reichen mir 4 x 2TB ohne Spare.

Warum hast du für 6TB netto überhaupt ein RAID?

Für mich fängt sinnvoller RAID-Einsatz erst da an, wo die Kapazität eine einzelnen (CMR) Festplatte aufhört.

[Livingston]

Hab nie behauptet, dass das sinnvoll ist.
Ich habe einfach ein Bufallo-NAS debianisiert, meine eigene Media-Lösung draufgepappt und luxuriöserweise ein RAID 5 dazugenommen. Das ist schon das ganze Geheimnis.
Nenn es meinetwegen Spieltrieb.
Btw ist meine Privatlösung zuhause gar nicht Thema des Threads.

[buhtz]

Hab ich die Frage falsch gestellt?
Ihr seid völlig off-topic.

[heisenberg]

Ich habe es nicht ganz verstanden, aber dort wird wohl behauptet, dass ein RAID5 rechnerisch bzgl. der Ausfallsicherheit keinen Sinn ergibt, wenn die einzelnen physischen Platten zu groß sind. Es ist "sicherer", wenn die Platten kleiner sind.

Nein. Die Aussage ergibt keinen Sinn. Es ist egal, ob die Platten groß oder klein sind. Die Ausfallsicherheit richtet sich nach dem gewählten RAID-Level. Der Unterschied zwischen kleinen und großen Platten ist, wenn Du ein Array mit mehreren Platten hast, die kurz vor dem Totalausfall stehen, dass die Wahrscheinlichkeit eines unabwendbaren Datenverlustes höher ist, weil die Resynchronisation wesentlich länger dauert und damit die Wahrscheinlichkeit steigt, dass eine angeschlagene Platte vollends den Dienst versagt.

Weiterhin ist dazu zu sagen, dass die Gefahr des Sekundärausfalls bei RAID5/6 am Größten ist, weil für das Recovery dort immer alle Platten benötigt werden - da die fehlenden Daten aus einem Datensatz, der über alle Platten verteilt ist - berechnet werden muss. Bei RAID10 ist es immer nur eine Platte, von der die Daten kommen. Im Vergleich zu RAID5 kann RAID6/RAIDZ2 aber den Ausfall einer weiteren Platte verkraften und RAIDZ3 insgesamt den Ausfall von 3 Platten.

Der Fall, dass neben dem Ausfall der ersten Platte noch eine weitere ausfällt, tritt aber üblicherweise nur ein, wenn man den Gesundheitszustand (Smart) der Platten nicht überwacht und das System komplett sich selbst überlässt und irgendwann - nach vielen Jahren - verzweifelt am rotieren ist, weil das RAID ausgefallen ist und eigentlich alle Platten halb im Eimer sind. Das ist so die Erfahrung aus der Praxis, wenn ich andere Systeme wegen Ausfall reparieren soll.

Deswegen:

• Plattenszustand überwachen
• regelmässige Datenprüfungen durchführen

Auch ist es gut die Zeit im Degraded-Mode (=eine Platte ist ausgefallen) so kurz wie möglich zu halten, um nicht doch noch ein zerstörtes Array durch Ausfall einer weiteren Platte zu riskieren. Wenn man eine lange Reaktionszeit hat, ist es ratsam eine Hotspare im Server zu haben, die bei Ausfall sofort das Recovery beginnt.

[cosinus]

Es ist "sicherer", wenn die Platten kleiner sind.

Wenn man Platten mit geringerer Kapazität nimmt, dann braucht man von diesen natürlich mehr, wenn man die gleiche Kapazität zur Verfügung stellen will. Die Anzahl der Disks erhöht sich also und bei n Platten hat man auch n Mal die Wahrscheinlichkeit einer Einzelplatte.
Also nein: mehr Platten -> größeres Ausfallrisiko
Und zudem noch mehr Strombedarf. Es dürfte also besser sein, 16-TB-HDDs zu nehmen als viele 4er oder 8er.

[MSfree]

Es dürfte also besser sein, 16-TB-HDDs zu nehmen als viele 4er oder 8er.

Abgesehen davon, daß ich es unsinnig finde, eine Diskussion aus einem anderen Forum hierher zu tragen, stimmt die Aussage des Kommentartors bei Golem ohnehin nicht. Der behauptet nämlich, daß die Zuverlässigkeit von der Anzahl nicht rekunstruierbarer Lesefehler (unrecoverable read errors URE) abhängt.

Diese UREs treten mit einer Wahrscheinlichkeit von eins zu 10^15 auf. Ein Bit von 125TB kann also unwiederbringlich verloren gehen. Aber selbst wenn so ein Fall eintritt, ist die Platte ja längst noch nicht ausgefallen. Es geht also schlimmstenfalls eine einzige Datei kaputt und selbst da läßt sich oft noch einiges retten. Bei einem kaputten Office-Dokument wäre das dann ein einzelner verursachter Rechtschreibfehler oder bei einem digitalen Bild ein einzelnes leicht farbverfäschtes Pixel. Sogar JPEG-komprimierte Dateien sind ziemlich robust gegen einzelne umgekippte Bits.

Der Effekt, der sich also ergibt, wenn man ein RAID mit einer ausgefallenen Platte restaurieren muß, bei dem auf den verbleibenden Platten eine einzelne Platte ein umgekipptes Bit hat, ist also verschwindent gering. Jedenfalls ist die Gefahr eines Datenverlustes durch viele kleine Platten viel größer.

[buhtz]

Der Unterschied zwischen kleinen und großen Platten ist, wenn Du ein Array mit mehreren Platten hast, die kurz vor dem Totalausfall stehen, dass die Wahrscheinlichkeit eines unabwendbaren Datenverlustes höher ist, weil die Resynchronisation wesentlich länger dauert und damit die Wahrscheinlichkeit steigt, dass eine angeschlagene Platte vollends den Dienst versagt.

Danke, jetzt hab ich es geschnackelt, was der Typ da im Golem Forum wohl gemeint haben könnte.

• Plattenszustand überwachen
• regelmässige Datenprüfungen durchführen

Natürlich hast du Recht. Meine Gewohnheit als Nicht-Admin bringt mich aber dazu, dass die Platten hier tatsächlich schon ewig rödeln, ohne dass ich mi die SMART Werte angeschaut hätte.

Wie wäre es mal mit einem kleinem Forum-Beitrag zum Überwachen und Überprüfen von RAID Systemen?
SMART Werte zu interpretieren erscheint mir wirklich schwierig. Jedes mal muss ich meine Notizen rauskramen, um es überhaupt zu verstehen.
Wie man eine Datenprüfung durchführt weiß ich gar nicht. Ließt man einfach alle Daten einmal nach /dev/null ?

[heisenberg]

Bzgl. der Smart-Daten mache ich es mir sehr einfach: Ich habe eine Software (check_mk), die sich darum kümmert. Die sagt mir wann es kritische Zustände gibt, bzw. gibt mir einen "roten" Service-Check bei SMART-Fehlern.

Für den Privatgebrauch kann man sich SMART-Fehler per Mail schicken lassen. Das können die smartmontools schon selbst.

Die wichtigsten Dinge sind:

1. Veränderung von Pending Sectors
2. Veränderung von Reallocated Sectors bzw. Reallocated Event Count
3. Der Wear-Level-Indicator bei SSD
4. Das When_Failed Datenfeld für alle Werte bei smartctl -A (Da steht dann schon drin, wenn ein Gerät demnächst ausfällt).

Wenn die obigen Werte Warnungen auslösen, dann lohnt es sich ggf. genauer hinzuschauen. Besonders wenn sich Pending/Reallocated Sectors regelmässig bzw. in immer kürzer werdenden Abständen erhöhen, dann nähert sich üblicherweise der Totalausfall der Platte.

Wie man eine Datenprüfung durchführt weiß ich gar nicht. Ließt man einfach alle Daten einmal nach /dev/null ?

Jede Art von Array hat seinen eigenen Prüfbefehl dazu:

• ZFS: https://openzfs.github.io/openzfs-docs/ ... rub.8.html
• btrfs: https://btrfs.readthedocs.io/en/latest/Scrub.html
• Linux Software RAID: https://raid.wiki.kernel.org/index.php/ ... the_drives

HW-RAID-Controller haben mit den jeweiligen CLI-Tools individuelle Befehle dafür.

Wie wäre es mal mit einem kleinem Forum-Beitrag zum Überwachen und Überprüfen von RAID Systemen?

Hört sich gut an! Mach mal!

[buhtz]

Danke, dass sind sehr hilfreiche Infos.
Meinst du das hier? https://docs.checkmk.com/