( gelöst)Raid

[haber]

Hallo Leute,

ich wollte mir zu Test-und Übungszwecken ein Debian mit Raid5 virtuell installieren.
Habe mir dazu drei virtuelle Platten mit je 1,8 Tb angelegt,die als volle 2 Tb gesehen werden.
Habe mir je Platte jeweils drei primäre und 9 logische Partitionen angelegt.
Ist bissel viel aber wie gesagt Übungszwecke.
Das Problem ist jetzt,sobald ich das Raid erstellt hab und die Dateisysteme anlegen will,fehlt mir die letzte erstellte Partition,die wird einfach nicht angezeigt.
Mach ich etwas verkehrt oder hab ich einen anderen Denkfehler?
Zur Verdeutlichung:
Partitionierung:
512 mb,1Gb und 8Gb primär
3 mal 150 Gb ,1 mal 100 Gb,2 mal 130 Gb,2 mal 260 Gb und einmal 639 Gb logisch.
Das auf jeder Platte.
Zum Schluss,wenn ich also die MDs erstellt habe,fehlt mir die letzte Partition mit den 639 Gb in der Auswahl.
Lasse ich allerdings zwei kleinere Partitionen weg,taucht sie ganz normal auf.
Die 512 Mb Partitionen sind als bootable markiert,Raid0.
Die restlichen alle Raid5.

mfG. haber

[rendegast]

Eventuell "logische Partitionen" <-> "TB"
Verwende mal gpt-Partitionierung.

[haber]

Ok,werde ich versuchen,danke.

mfG. haber

[haber]

Habe es jetzt mit gpt versucht,es ist das gleiche.
Werde mir jetzt ne Suse runterladen und es mal damit versuchen heut Abend.


mfG. haber

[Cae]

Versuch das Ganze simpel und mit MBR.
Damit wir uns nicht mit den Begrenzungen herumschlagen müssen, schlage ich vier virtuelle 500 GB-Platten vor, die im RAID5 laufen. Darauf kommen vorne 100 MB für /boot (je nach Geschmack RAID1 oder RAID5), dann jeweils 512 MB Swap (macht 4 GB; die kommen nicht in's RAID, wozu auch), 5 GB für / (RAID5 = 15 GB, sollte dicke ausreichen) und schließlich der Rest für /home oder was man sonst extra haben will (RAID5). Beachte, dass du grub-install für alle Platten ausführen musst… gemäß Murphys Gesetz wird nämlich genau die Platte zuerst kaputt gehen, auf der der Bootloader ist.

Bei weiteren Versuchen kannst du dann nur /boot extra machen und Rest als ein einziges RAID5, auf dem ein LVM liegt. Das ist nochmal flexibler.

Gruß Cae

[haber]

Hallo Cae,
so wie Du es vorschlägst habe ich es ja fast gemacht.Ok,Du hast 4 Platten,ich hab drei.
Meine sind auch jeweils 2 Tb groß,werden zumindest so erkannt.Erstellt hab ich sie als 1,8 Tb.
Mein Problem ist aber ein anderes.
Nachdem ich die MDs erstellt habe,wird das letzte nicht mehr angezeigt um ein Dateisystem und ein Einhängepunkt darauf anzulegen.
Sobald ich je Platte zwei Partitionen weniger anlege,gehts problemlos.
Also zwei MDs weniger und es klappt.
Das ist das was ich nicht verstehe,gibts da ne Grenze in der Anzahl der Partitionen?
Unter Suse ist das Szenario wie ich es weiter oben beschrieben habe,gerade einwandfrei durchgelaufen.
Auch hier liegt /boot auf RAID0,der Rest auf RAID5.
Insgesamt sind es drei primäre und neun logische Partitionen,und ich hab auch keine gpt-Partitionierung gemacht.
System dafür ist openSUSE 12.1 netinstall.
Setze damit auf gelöst.


mfG. haber

[rendegast]

Ich muß mal nachfragen

Habe mir dazu drei virtuelle Platten mit je 1,8 Tb angelegt,die als volle 2 Tb gesehen werden.
...
Meine sind auch jeweils 2 Tb groß,werden zumindest so erkannt.Erstellt hab ich sie als 1,8 Tb.

Was war genau damit gemeint?

War das ganze im Rahmen einer Installation oder von einem installierten System aus?
Und um was für eine distri handelte es sich dabei?
-> Eventuell handelt es sich "nur" um einen Installer-bug.



Ich habe das mal nachgestellt, wheezy-VM mit Platten > 2TB.
Partitioniert mit cfdisk speichert es das ab, zeigt danach "Free-Space" für Partitonen über der 2TB-Grenze.
Angezeigt mit fdisk werden diese Partitionen noch, aber als crap, mit Endsektor kleiner Startsektor.
Partitioniert mit fdisk geht okay, das beschränkt sich auf den Bereich unter 2TB.
-> Dann wäre vielleicht das falsche Tool benutzt? Beim Installer wäre das aber wohl parted(?), und hätte damit einen Fehler.

Die Anzahl der Partitionen ist hier irrelevant.
Beschränkt ist sie durch die Anzahl der vom Kernel verfügbaren Blockdevices,
beim 3.2 aus wheezy bekomme ich maximal 60 (mit fdisk "optimal-aligned" erstellt).
Beim Erstellen der letzten beiden md gab es einen "Hänger",
sdc60, sdd59 und sdd60 waren einfach nicht in /dev/, obwohl aus fdisk und parted verfügbar erstellt.
Das war nach einem Neustart der VM erledigt, alle sdX1 bis sdX60 wurden zu md1 bis md60 zusammengebaut.

[haber]

Hallo rendegast,
also gemeint war damit,dass ich diese drei Platten mit je 1,8 Tb erstellt habe,die ich daraufhin erstmal gleich partitioniert hab.
Danach habe ich die MDs erstellt.
Nach der Erstellung der MDs wurden sie allerdings nicht vollständig angezeigt,sprich das MD aus den letzten drei Partitionen fehlt.
Im Klartext also,ich hab aus drei primären und neun logischen Partitionen MDs erstellt.
Allerdings werden nur elf MDs angezeigt.
System ist Debian Squeeze netistall.

mfG. haber

[haber]

Also ich habe es jetzt mit der Wheezy-netinstall versucht.
Einziges was hier anders ist als unter Squeeze ist die Tatsache,dass hier gleich zwei MDs nicht angezeigt werden.


mfG. haber

[haber]

So,ich habs jetzt unter Arch probiert,auch virtuell.
Wie unter Suse und Debian auch,jeweils 3 Platten mit 2 TB.
Drei primäre und 25! logische Partitionen.
Alle MDs sind da,wurden einwandfrei angezeigt und eingebunden.




mfG. haber

[r900]

Nach der Erstellung der MDs wurden sie allerdings nicht vollständig angezeigt,sprich das MD aus den letzten drei Partitionen fehlt.
Im Klartext also,ich hab aus drei primären und neun logischen Partitionen MDs erstellt.
Allerdings werden nur elf MDs angezeigt. System ist Debian Squeeze netistall.

Da muss ich dich etwas korrigieren. Das Problem ist nicht dass das letzte md nicht angezeigt wird, sondern dass es erst gar nicht erstellt wird! Wenn man mit Alt+F2 auf das zweite VT wechselt, kann man mit mdadm noch fleißig weiter md's erstellen und die werden dann auch im installer angezeigt.

Code: Alles auswählen

# mdadm --create /dev/md11 -l 5 -n 3 -x 0 /dev/sda12 /dev/sdb12 /dev/sdc12

-> Eventuell handelt es sich "nur" um einen Installer-bug.

Sieht ganz so aus. Mit der Größe der Festplatten oder Anzahl an Partitionen hat es übrigens nichts zu tun. Bei md10 ist Schluss, weil der installer danach immer wieder versucht md10 anzulegen, anstatt mit md11 weiterzumachen. Sieht man wenn man mit Alt+F4 auf die debug-Konsole wechselt, dort steht dann nämlich

Code: Alles auswählen

partman-md: mdadm: /dev/md/10 is already in use.

Also scheint der installer das nächste freie md-device nicht richtig zu bestimmen. Wahrscheinlich wird er durch die Sortierung
md0
md1
md10
md2
[...]
md9
aus der Bahn geworfen. Deshalb nimmt er immer an md9 wäre das letzte device und versucht dann md10 anzulegen, welches aber schon existiert.

[r900]

Es ist wie ich es mir gedacht habe. Hier der entsprechende Auszug aus /lib/partman/lib/md-base.sh:

Code: Alles auswählen

# Find the next available MD device number
md_next_device_number () {
	local md_num="$(grep ^md /proc/mdstat | \
			sed -e 's/^md\(.*\) : active .*/\1/' | sort | tail -n1)"
	if [ -z "$md_num" ]; then
		md_num=0
	else
		md_num="$(($md_num + 1))"
	fi
	echo "$md_num"
}

sort wird hier ohne den Schalter "-n" benutzt und sortiert deshalb 0 1 10 2 3 [...] 9. Also selbst wenn md10 besteht wird 10 als nächstes freies device zurückgegeben.

Wenn man zu Beginn der Installation (bei der Eingabe des Rechnernames) mit Alt+F2 auf VT2 wechselt und die Datei z.B. mit nano editiert ("sort -n" anstatt "sort" ) kann man später nach Lust und Laune md-devices im installer erstellen.

[haber]

Danke r900!
Habs heute nochmal durchgespielt,und zwar zweimal.
Einmal Squeeze,einmal Wheezy.
War bei beiden das gleiche,hat aber so wie Du es beschrieben hast tadellos funktioniert.

mfG. haber

[haber]

Hab heute,weil ich neu aufgesetzt habe,wieder versucht auf Virtualbox ein Raid5 aufzusetzen.
Habs nach viermal endgültig aufgegeben,es hat nämlich trotz weiter oben genanntem Befehl nicht geklappt,alle Partitionen einzubinden.
Komisch ist,die letzte,also /dev/md13 wird erstellt,aber /dev/md10,11 und 12 fehlen.


mfG. haber

[r900]

Welches image hast du denn diesmal benutzt? Wheezy Beta 3?

[rendegast]

Das ganze hier soll ja nicht nur eine bugfix-Party für den Installer sein sondern ein Multi-Partitions-Testsystem ergeben.

und nicht wie die letzten Tage nach achtmal immer noch nicht.

Warum also stur den buggy-Installer prügeln, anstatt die Aufgabe einfach später aus dem laufenden System heraus lösen?

... alle sdX1 bis sdX60 wurden zu md1 bis md60 zusammengebaut.

[haber]

Welches image hast du denn diesmal benutzt? Wheezy Beta 3?

Zweimal Squeeze ,der ja nicht mehr buggy sein sollte,( na ja,eigentlich.....) , und zweimal Wheezy.
Fakt ist,am Wheezy-Installer allein liegts nicht,weil Squeeze ist der gleiche Murks.



mfG. haber

[r900]

Ich versteh nicht warum das unter Debian immer so eine nie enden wollende Wissenschaft sein muss.
Zumal doch Squeeze,wenns stable ist,solche Probleme nicht mehr haben sollte.

Also irgendwie verstehe ich dich nicht so richtig. Du machst immer das gleiche und erwartest ein anderes Ergebnis. Kann ja nicht funktionieren. Wenn du sehen willst ob der Fehler in einem Installer-Image behoben ist musst du nur in die Datei /lib/partman/lib/md-base.sh schauen. Wenn dort "sort" anstelle von "sort -n" steht ist der Fehler eben noch nicht behoben. Da kannst du dich auf den Kopf stellen und noch 20 mal md-devices erstellen und wieder löschen..

[haber]

Und ich dachte immer Squeeze wär stable,da gäbs sowas nicht.
Dass Wheezy noch Probs hat seh ich ja noch ein,aber Squeeze?
Tja,irren ist menschlich.
Komisch ist ja auch,bis /dev/md9 wird erstellt,den Rest bis /dev/md13 erstelle ich mit dem mdadm-Befehl weiter oben.
Läuft auch erstmal durch,aber danach wird nur /dev/md1-9 angezeigt,sowie /dev/md13.
Von /dev/md10,11 und 12 fehlt jede Spur.

mfG. haber

[rendegast]

Und ich dachte immer Squeeze wär stable,da gäbs sowas nicht.
Dass Wheezy noch Probs hat seh ich ja noch ein,aber Squeeze?

Du bist wohl der erste, der beim Installieren so viele md-devices angelegt hat.

Komisch ist ja auch,....
Läuft auch erstmal durch,aber ....
.... fehlt jede Spur.

Ein Flüchtigkeitsfehler gefunden, Folgeprobleme oder weitere ja nicht ausgeschlossen.






Dürfte beim squeeze-Installer 'sort'<->'sort -n' überhaupt gefixt werden?
Scheint mir nicht sicherheitskritisch zu sein.

[Cae]

Dürfte beim squeeze-Installer 'sort'<->'sort -n' überhaupt gefixt werden?
Scheint mir nicht sicherheitskritisch zu sein.

Ich denke nicht. Zumal der Fehler am ehesten unter Laborbedingungen auftritt, in freier Wildbahn denkt man spätestens ab dem vierten MD über LVM nach. Für Wheezy könnte man da allerdings einen Bugreport filen (sofern das Problem dort auch auftritt, so genau habe ich diesen Thread nicht gelesen ).

Gruß Cae

[r900]

Und ich dachte immer Squeeze wär stable,da gäbs sowas nicht.
Dass Wheezy noch Probs hat seh ich ja noch ein,aber Squeeze?

Du bist wohl der erste, der beim Installieren so viele md-devices angelegt hat.

Sieht ganz so aus. Und damit man einen Fehler beheben kann muss ihn eben erst mal jemand finden. Man denke nur mal an die unzähligen Bugs die noch unentdeckt in Squeeze schlummern.. OMG

Für Wheezy könnte man da allerdings einen Bugreport filen

Ist doch schon längst passiert. Ich hab's allerdings an einen existierenden bug-report angehängt wo jemand behauptet es wäre ein Bug dass man mehr als 9 md devices erstellen könnte (weshalb auch immer). Das konnte ich so natürlich nicht stehen lassen 679276 Auf jeden Fall scheint das Interesse daran wie erwartet gering bis nicht vorhanden zu sein.. Wozu braucht man auch mehr als 11 md devices

[haber]

Auf jeden Fall scheint das Interesse daran wie erwartet gering bis nicht vorhanden zu sein..

War mir klar.Wärs anders,wärs wohl schon längst gefixt.
Wir reden jetzt aber von nem bekannten Bug,nicht von einem in Squeeze noch unentdeckten,richtig?
Na ja,was solls.Thema erledigt,interessiert keinen und gut.



mfG. haber

[r900]

Wir reden jetzt aber von nem bekannten Bug,nicht von einem in Squeeze noch unentdeckten,richtig?

Nein wir reden soweit ich das beurteilen kann von einem neuen Bug der auch Squeeze betrifft. stable heißt ja nicht fehlerfrei. Ist auch nichts ungewöhnliches, es werden ständig neue bugs gemeldet, auch in stable.

Stabil,ausgereift usw. aber nich mal nen funzenden Installer.

Offensichtlich braucht kein Mensch außer dir mehr als 10 md devices, sonst wäre es schon längst jemandem aufgefallen. Denk mal drüber nach..

[haber]

Auf jeden Fall scheint das Interesse daran wie erwartet gering bis nicht vorhanden zu sein..

Das ist das worüber ich nachdenke,weils einfach sehr nachdenklich macht.
Aber wie dem auch sei,Thema erledigt.
Werde mein Vorhaben auch so hinbekommen,der Download läuft schon.

mfG. haber