OS auf Raid aber andere Partion

[sunghost]

Hallo,
ich möchte auf einem Raid5 Debian installieren, soweit so gut. Nun möchte ich aber für das OS nur 8GB verwenden und den Rest der 6TB als extra "Einängepunkt". Der Gedanke dabei ist, dass dieser Punkt ruhig volllaufen kann, jedoch ohne das System zu killen. Nach meinem aktuellen Verständnis geht dies nur mit LVM, oder irre ich mich da, bzw. wie kann ich das ansonsten realiesieren, wenn ich das System von Grund auf an neuinstalliere?

[haber]

Guck mal hier

mfG. haber

[sunghost]

Hi,
danke, aber alles im Allg. erklärt und das was ich bereits weiß. Nur wie sieht es in meinem Fall aus? Ich verstehe es so, dass es direkt auf das SW RAid installiert nicht funktionieren wird, aber wie dann? Nur mit extra Disk?
edit: Wie wäre es wenn das OS auf einen 8GB USB3 Stick installiert werden würde? Die Schreibarbeit liegt eh auf dem Raid, dass müsste doch eine Zeitlang halten, oder?

[haber]

Also willst Du das System ausserhalb des Raid-Verbunds betreiben oder wie?

mfG. haber

[sunghost]

Hi,
generell eher nicht, aber die Nachteile überwiegen wohl. Z.b. Bei Systemcrash das ganze neu aufzusetzen, oder einfach nur das Raid in einem anderen Rechner mitnehmen. Grundlegend ist es so, dass ich 6x3TB Festplatten habe die in einem SW Raid5 zusammengefasst werden sollen. Das System braucht ca. 8GB so dass der Rest übrig ist und in dem Fall des "volllaufens" nicht das System gefährden darf. Bis jetzt hatte ich immer eine extra Disk, die nun nicht zur Verfügung steht. Welche Möglickeiten gibt es?

[delaytime0]

Eigentlich ist das recht trivial.

Wenn du ein Software-Raid einrichten möchtest, muss beachtet werden, dass die Partition von der gebootet werden soll (also /boot oder /) ein Raid1 über alle Disks hinweg hat.
So ist es bei Ausfall der Platten gewährleistet, dass das System bootbar bleibt. Den Rest der Platten kannst du dann auch per RAID5 konfigurieren.

Bei Youtube hatte ich dazu mal ein nettes Video gefunden, sogar für Squeeze.

[sunghost]

Mh Ich muss mir gleich die Installation mal ansehen. Ich meine aber nirgends eine Größenangabe gesehen zu haben. Dazu kommt, dass ich Testing installieren muss, da ich >16TB mit ext4 installieren werde. Generell könnte ich ein Teil der Größe der Disks für das Raid 1 nehmen und dort das OS installieren. Da ich mit 3 Disks starte, wäre es dann auch denkbar, erst das Raid über 2 Disk zu bilden und später dann bei 4 Disk auf 4 zu vergrößern?

[delaytime0]

Ein Raid 5 mit 2 Disks wird wohl nicht gehen ^^

Wenn du nur ein RAID 1 möchtest ist es GRUNDSÄTZLICH möglich das auch später zu erweitern.
Ich habe sowas jedoch noch nie gemacht und würde auch nicht wirklich dazu raten... :/

[sunghost]

Da hast du mich falsch verstanden. Die 2 Disk waren auf die insg. 3 bezogen. Also von den 3. erst Mal das Raid1 für das OS auf 2. wenn dann später zu den 3. eine 4. kommt, könnte ich es auf 4 erweitern. Solange läuft auf dem restl. Speicher das Raid5.

[delaytime0]

Und welchen Sinn sollte das machen? öÖ

Ich würde es so machen:

Das SW-RAID1 aus den 3(4) Platten:
hda1 = 8 GB RAID
hdb1 = 8 GB RAID
hdc1 = 8 GB RAID
hdd1 = 8 GB RAID

Und aus dem Rest das SW-RAID5:
hda2 = jede Menge
hdb2 = jede Menge
hdc2 = jede Menge
hdd2 = jede Menge

Die Bootpartition auf allen Platten als RAID1 vorliegen zu haben mit bootflag hat ja den Hintergrund, dass wenn eine der Platten ausfällt immernoch von allen anderen gebootet werden kann. Sonst würde ja bei Ausfall der Platte wo das OS liegt eben nichts mehr gehen. So hat man den Vorteil, dass bis auf eine Platte sogar alle ausfallen können.

[sunghost]

Na davon sprech ich doch. Nur wo kann ich das im Installer einstellen? Ah habs gefunden unter manuell und dort die Partition entspr. vergeben. Ich habe jetzt 4x 1.5GB als ext4 erstellt. Nur was muss ich jetzt machen, damit alle notwendigen Einhängepunkte bzw. benötigten Verzeichnisse dort installiert werden? Ich kann nur "/" oder ein anderes auswählen, aber nicht alle und die geführte wählt gar nicht das Raid aus, was nun?

edit:
ok, da ich bis jetzt immer eine geführte Installation vorgenommen habe und später dann das Raid auf die restl. Disk gelegt hatte, ist das neu für mich. Ich verstehe das jetzt so, dass ich die Partitionen jeweils im Raid 1 anlege und dabei mein Ziel von 8GB insgesamt im Auge behalte. Nur welche Partitionen brauche ich und wie groß sollten sie möglichst sein, kann ich diese ggf. später verändern, oder sollte ich hier gleich LVM2 installieren, nur wie verhält es sich bei einem möglichen späteren Raidrecover?

[delaytime0]

Bitte einfach mal bei Youtube gucken. Da gibt es gefühlte 100.000 Videos zum Thema Debian und Software-Raid.
Dies jetzt hier in Textform auszuführen ist dann doch zu umständlich.

[sunghost]

Wie gesagt unter normalen Umständen ist es kein Problem. Da ich aber von den 4x3TB nur 8GB für das OS nutzen möchte wird es etwas komplexer. Die anderen Anleitungen beschränken sich immer auf 2Hdds im Raid1 und dann geführte Installation. Easy. Aber so wird es etwas komplexer, wobei ich scheinbar für "/" swap und usr ein md erstellen müsste, aber wie groß und wie sieht es mit grub aus, geht der über das Raid oder hängt der dann an einer Platte?

[delaytime0]

Ok, dann mal los...

Scheint ja schwer zu sein sich mal ein paar Videos (zur Not in anderer Sprache) anzugucken.

Minitut:

Ausgangspunkt: 3 Festplatten je 4 TB.

Erste HDD
eine Partition 8 GB, Typ RAID, bootable
eine Partition ca. so groß wie der RAM des PC, Typ RAID
eine Partition Restspeicher, TYp RAID

Zweite HDD = siehe Erste HDD
Dritte HDD = siehe Erste HDD

Dann oben auf Software-Raid klicken.
neues MD erstellen
Typ Raid 1, Anzahl 3, Spare 0, die 8 GB Partitionen auswählen -> erstellen

neues MD erstellen
Typ Raid 5, Anzahl 3, Spare 0, die kleineren Partitionen (so groß wie RAM) auswählen -> erstellen

neues MD erstellen
Typ Raid 5, Anzahl 3, Spare 0, die restlichen Partitionen auswählen -> erstellen

Software-Raid beenden.

"Zurück beim Partitionserstelldialog"
Das erste MD (md0) auswählen und dort eine Partition (z.B. ext4) erstellen, Mountpunkt /
Das zweite MD (md1) auswählen und dort eine Partition SWAP erstellen.
Das dritte MD (md2) auswählen und dort eine Partition (z.B. ext4) erstellen, Mountpunkt (z.B. /home).

Später in der Installation fragt grub wo es hin soll. NICHT in den mbr. Falls doch ausversehen passiert. Nach dem neustart mit "grub-install /dev/md0" verschieben.
Sollte das System nicht auf Anhieb booten liegt das vermutlich an grub im mbr und im BIOS müsste mal eine andere HDD als erstes Bootmedium ausgewählt werden.

Alles auf eigene Gefahr und ohne Gewähr, eben aus meiner Erfahrung heraus.

[sunghost]

Nabend,
super das du dir die Zeit genommen hast. Es ist dann so wie ich es theoretisch sagte . Das die SWAP auf RAID5 läuft ist eine gute Idee, habe ich übernommen. allerdings die 4GB je Disk für die Größe der Auslagerung scheinen mir etwas zu viel, ist aber Diskussionssache und hängt natürlich von vielen Faktoren ab. Ich habe 1GB je Disk genommen, also derzeit 4-1x1GB=3GB, in nächster Zeit kommen 2 weitere Disks dazu, sodass diese dann auf 5GB anwächst, was eigentlich locker ausreichen sollte und wenn nicht, dann kommen zu den jetzigen 4GB weitere 4 oder 8 oder was auch immer. Hiebernation ist hier nicht gewünscht. Was gar nicht geklappt hat ist die "/" als bootable zu makieren. Ich konnte es zwar sehen aber eine Änderung hat der Installer nicht übernommen, die Partitionierung und Formatierung läuft grade, aber was mach ich bzgl. des Bootflag? Werd den Bloader wohl so kaum dort rein bekommen, oder? Vermutlich kann ich den Flag nachträglich auf das Raid setzen und dann wie du beschrieben hattest verschieben, oder? Hier wären ein paar Tipps hilfreich Nochmal danke für die Infos.

[sunghost]

So wie ich sagte, der Kernel konnte nicht installiert werden...?

[delaytime0]

der bootable flag wird auf die raid und nicht auf das volume aus den raid gesetzt.

Also auf die einzelnen Teile des RAID undnicht die Partition im RAID.

Dann sollte es gehen.Was die Größe desSWAP angeht ist das natürlich Ansichtssache.Ich bevorzuge im Ergebnis immer 2xRAM = SWAP. Allerdings habe ich auch schon andere und erklärbare Konfigurationen gesehen.

[sunghost]

Mh versteh ich nicht recht. Also den Flag habe ich natürlich auf die einzelnen Partitionen gesetzt. Eben nochmal in einer VM nachgestellt, dort kann ich den auch gar nicht auf das MD setzen. Also in der VM gehts, auf dem System nicht.

[sunghost]

So habe nun noch ein wenig gesucht und gelesen, aber nichts hat funktioniert. Weder im Bios Sata auf IDE, AHCI oder Raid stellen, noch irgendwelche Variationen von Partitionen im Raidmodus. Was nun?

[Cae]

Weder im Bios Sata auf IDE, AHCI oder Raid stellen

Stell' das auf AHCI zurück, sofern das alle Komponenten auch vorher konnten. "RAID" hat nix mit dem zu tun, was wir hier brauchen.

Das Bootflag ist eigentlich unerheblich. Was bei deinem Setup eher das Problem sein dürfte, sind die großen Platten. Eine MBR-Partition kann nur ~ zwei Terrabyte groß werden. Außerdem kann sie bei einem maximalen Offset von ~ zwei Terrabyte beginnen. Also *musst* du für die Nutzung der vollen Plattenkapazität eine Partition von oben weg mit 1-2 Terrabyte anlegen und von unten den Rest. Das heißt allerdings nicht zwangsläufig, dass zwingend zwei große Partitionen hat, auf die man die Daten manuell aufteilt. Dazu kann man ein LVM drüberlegen.

Das kann man auch alles gleichzeitig erreichen, eine Partition >2 TB, braucht aber GPT, eine Art neue Form von MBR. Einige Tools kommen damit nicht zurecht, fdisk zum Beispiel; gparted oder sowas kann aber GPT lesen und ändern. Den Kernel interessiert das weniger, aber das BIOS muss ebenfalls GPT auslesen können (oder, äh, der Bootloader muss das auch noch. GRUB tut es).

Ich würde mich a) zu GPT und insbesondere den Rescue-Szenarien dazu schlau machen oder b) mit dem klassischen MBR arbeiten. Dann käme so ein Layout für jede Platte raus: 8 GB /, primär; 1,2 TB primär; Rest primär. Das geht dann auf RAID1 für die kleine Systempartition und jeweils RAID 5 für die Datenpartitionen. Anschließend legst du ein LVM drüber und hast ein einziges /dev/mapper/foo-Gerät, das du formatierst und zum Beispiel nach /media/foo mounten kannst. Das Ding ist dann mit RAID5 knapp neun Terrabyte groß, abzüglich des bisschen LVM-Overheads und des (wesentlicheren) Dateisystemoverheads.

Gruß Cae

[sunghost]

Hallo,
ich habe nun noch weiter gesucht und gelesen und es ist def. so, dass ich die Disks GPT formatieren und eine BootPart anlegen muss. (Kann es sein, dass es im Debian Testing bereits so gemacht wird?) Na jedenfalls habe ich mittels Expertenkonf. die Disk nun so partitioniert:
100MB - Bootpart
8GB - Root - Raid1
1GB - SWAP - Raid5
2,9TB - Files - Raid5
Bei der Frage nach dem Kernel habe ich den in den MBR von sda installieren lassen, soweit sah alles gut aus, nachdem ersten Neustart zeigte er mir auch den 3.2xxxamd irgendwas Kernel an udn fing an zu booten, dann sah ich leider nur noch grafischen wisch wasch, die Disks arbeiteten aber scheinbar weiter und ich konnte auch in den TTY's blind hin und her springen. Leider kam ich da nicht weiter und dachte das es evtl. an Testing liegt. Daraufhin habe ich Stable mittels normaler grafischer Installation durchgeführt. Dabei viel auf, dass die Formatierung der 3TB viel länger dauert als unter Testing und letztendlich am Ende mit einem Kernelfehler abbrach. Ergo will ich heute unter Stable den Expertmode ausführen und mal sehen, ob es ggf. an der nicht erkannten bootpart lag. Ideen? Grafik kommt über den AMD A4 mit 512MB

[Cae]

ich die Disks GPT formatieren und eine BootPart anlegen muss. (Kann es sein, dass es im Debian Testing bereits so gemacht wird?)

Ich weiß das gar nicht, da alle meine testings von stable hochgezogen wurden, aber du kannst nachgucken:

Code: Alles auswählen

# dd if=/dev/sda skip=510 count=2 bs=1 2>/dev/null | hexdump | awk '{ if ("aa55" == $2) { mbr=1; } } END { print "MBR: " (mbr ? "yes" : "no"); }'

Beachte, dass dd prinzipiell gefährlich ist, ich habe es zwar getestet, aber es ist nicht ausgeschlossen, dass kleine Katzen sterben, wenn man den Einzeiler einsetzt. Jedenfalls guckt das Ding nach, ob die Bytes 510 und 511 0xaa und 0x55 entsprechen, der magic number vom MBR. Keine Ahnung, ob GTP da zufällig auch diese Daten stehen haben könnte, aber ich denke mal nicht. Der Sinn einer magic number ist ja, dass andere Strukturen sich an der unterschiedlichen magic number unterscheiden lassen.

Bei der Frage nach dem Kernel habe ich den in den MBR von sda installieren lassen

Den GRUB, äh. Wenn du GTP verwendest, hast du keinen MBR. Allerdings gibt es da so etwas wie eine kleine Boot-Partition (nicht /boot).
Die Partitionierung sieht gescheit aus, wobei swap nicht unbedingt auf das RAID muss. Wobei, was tut der Kernel, wenn die Platte tot ist und plötzlich der swap weg ist? Im Zweifel, wenn die Kiste geswappt hat, fehlen ja Daten aus dem RAM.

Gruß Cae

P.S.: mir fällt gerade ein, dass man den awk vermutlich auch mit Binärdaten zuballern könnte und der hexdump davor möglicherweise überflüssig ist.

[sunghost]

Hi,
sei mir nicht böse, aber außer dass ich dann weiß ob Testing gpt spricht, hilft mir das nicht weiter, oder?

[Cae]

sei mir nicht böse, aber außer dass ich dann weiß ob Testing gpt spricht, hilft mir das nicht weiter, oder?

Ja, das ist korrekt.

Zu der Grafikgeschichte weiß ich nix zu sagen, aber wenn du mal einen Blick auf den Titel oben wirfst, ist das schwer im offtopic bzw. ein Grund für einen neuen Thread.

Gruß Cae

[sunghost]

Da hast du Recht. Ich werde heute Abend/Nacht nochmal die Installation unter Stable im Expertmode durchführen. Gibt es dort eigentlich bei den Modulen, die manuell angegeben werden könne, etwas zu beachten, also welche ich für meine Zwecke brauchen könnte?