[lenny] Raid5 per mdadm: Kein Format mit mkfs.ext3 möglich?

[hallodri]

Hallo Forum,

gestern habe ich 3x 1.5 TB HDs bekommen und die sollen im RAID5 laufen. Controller im Bios also auf AHCI gestellt, die Platten angeschlossen (Sata 3, 4 & 5 – deswegen AHCI) und folgendes gemacht:

1. per fdisk Pro Platte eine primäre Partition (1.5 TB) erstellt und mit dem fd-Flag (Linux Autoraid) gekennzeichnet.
2. mdadm --create --verbose /dev/md2 --level=5 --raid-devices=3 /dev/sdc1 /dev/sdd1 /dev/sde1 --chunk=128

Bis hierher ist alles (fast) ok. Mdadm erstellt das RAID5, nimmt jedoch 2 aktive Platten und kennzeichnet eine als Spare. Ich entferne also die Spare-Platte und füge sie wieder hinzu:

mdadm /dev/md2 -r /dev/sde1
mdadm /dev/md2 -a /dev/sde1

Nun fängt er an das RAID zu recovern, das kann man auch per /proc/mdstat beobachten:

Code: Alles auswählen

Personalities : [raid1] [raid6] [raid5] [raid4] 
md2 : active raid5 sde1[3] sdd1[1] sdc1[0]
      2930271744 blocks level 5, 128k chunk, algorithm 2 [3/2] [UU_]
      [=============>.......]  recovery = 67.1% (983902076/1465135872) finish=194.0min speed=41335K/sec

Aber:

In allen Tutorials steht, dass man mun das Dateisystem erstellen soll:

mkfs.ext3 /dev/md2

Leider erhalte ich das hier und kann das RAID nicht benutzen:

Code: Alles auswählen

mke2fs 1.41.3 (12-Oct-2008)
mkfs.ext3: Zurückgegebene Gerätegröße ist gleich null. Unvollständige Partition
	angegeben oder die Partitionstabelle wurde nach einem fdisk-Lauf
	nicht wieder eingelesen, weil eine veränderte Partition in Gebrauch
	und gesperrt ist. Sie könnten gezwungen sein, neu zu booten, um die
	Partitionstabelle neu einzulesen.
[/quote]

[i]mdadm --detail /dev/md2[/i] sagt:

[quote]
/dev/md2:
        Version : 00.90
  Creation Time : Sun May 24 04:39:25 2009
     Raid Level : raid5
  Used Dev Size : 1465135872 (1397.26 GiB 1500.30 GB)
   Raid Devices : 3
  Total Devices : 3
Preferred Minor : 2
    Persistence : Superblock is persistent

    Update Time : Sun May 24 09:42:15 2009
          State : clean, degraded, recovering, Not Started
 Active Devices : 2
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 128K

 Rebuild Status : 67% complete

           UUID : 38fffd2b:2bfb1994:f98a36bd:a4aa7ed3 (local to host debian)
         Events : 0.8

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       49        1      active sync   /dev/sdd1
       3       8       65        2      spare rebuilding   /dev/sde1

Per fdisk -l wird es auch nicht aufgeführt.

Ich habe das Ganze in einer virtuellen Maschine analog mit 3 virtuellen HD-Devices durchprobiert und da hat alles geklappt. Was läuft in meinem Rechner schief? Kann ich formatieren, wenn der Rebuild fertig ist?

[Danielx]

Daran wird es wohl liegen:

State : clean, degraded, recovering, Not Started

Gruß,
Daniel

[hallodri]

Danke für Deine Antwort.

Ein erster Aufruf von mdadm -A -s /dev/md2 brachte:

Code: Alles auswählen

mdadm: /dev/md2 not identified in config file.

Ok, kein Problem:

mdadm --detail --scan >> /etc/mdadm/mdadm.conf
mdadm -A -s /dev/md2

Code: Alles auswählen

mdadm: device /dev/md2 already active - cannot assemble it

Nun steht auch das Array mit Spare in der Config, dabei soll keines verwendet werden:

Code: Alles auswählen

ARRAY /dev/md2 level=raid5 num-devices=3 metadata=00.90 spares=1 UUID=38fffd2b:2bfb1994:f98a36bd:a4aa7ed3

Ich check das nicht, warum die Kiste nicht einfach das macht, was sie bei allen oder in meiner Vbox macht?!

[Danielx]

Hast du denn zuerst den Rebuild vollständig abgewartet?
Wenn du die Spare-Platte aktivierst, dann muss diese ja erst mit den anderen Platten synchronisiert werden.

Gruß,
Daniel

[hallodri]

Nee, ist noch nicht fertig, dauert noch 2 Stunden. Aber ich bin tapfer

Melde mich nachher noch einmal.

[hallodri]

Ach, das ist doch shice. Jetzt hat er 9 Stunden einen Rebuild gemacht, das Array ist nun clean und es geht immer noch nicht. Ich kann md2 nicht formatieren:

Code: Alles auswählen

mke2fs 1.41.3 (12-Oct-2008)
mkfs.ext3: Zurückgegebene Gerätegröße ist gleich null. Unvollständige Partition
angegeben oder die Partitionstabelle wurde nach einem fdisk-Lauf
nicht wieder eingelesen, weil eine veränderte Partition in Gebrauch
und gesperrt ist. Sie könnten gezwungen sein, neu zu booten, um die
Partitionstabelle neu einzulesen.

Code: Alles auswählen

        Version : 00.90
  Creation Time : Sun May 24 04:39:25 2009
     Raid Level : raid5
  Used Dev Size : 1465135872 (1397.26 GiB 1500.30 GB)
   Raid Devices : 3
  Total Devices : 3
Preferred Minor : 2
    Persistence : Superblock is persistent

    Update Time : Sun May 24 14:05:59 2009
          State : clean, Not Started
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 128K

           UUID : 38fffd2b:2bfb1994:f98a36bd:a4aa7ed3 (local to host debian)
         Events : 0.24

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       49        1      active sync   /dev/sdd1
       2       8       65        2      active sync   /dev/sde1

Versuche ich das Teil zu starten, kriege ich das (das Stoppen habe ich mal testweise gemacht):

Code: Alles auswählen

debian:~# mdadm -R /dev/md2
mdadm: failed to run array /dev/md2: Device or resource busy
debian:~# mdadm -S /dev/md2
mdadm: fail to stop array /dev/md2: Device or resource busy

Gebootet habe ich auch schon. Per fdisk wird das Array auch nicht angezeigt. Was nun? Alles wieder auseinandereissen?

[hallodri]

Ich bin es noch einmal mit einem neuen Posting wegen der Übersicht (sorry).

df -T /dev/md2 bringt erstaunliches zu Tage:

Code: Alles auswählen

Dateisystem   Typ    1K‐Blöcke   Benutzt Verfügbar Ben% Eingehängt auf
udev         tmpfs       10240       140     10100   2% /dev

Also mein neu erstelltes Array md2 ist als tmpfs deklariert? Nun weiss ich gar nicht mehr weiter - wo kann ich konkret suchen?

Danke

[hallodri]

Ein update-initramfs -u hat das Problem gelöst, danach konnte ich md2 formatieren und das Array ist nun im Einsatz

Hmm, wieso muss das niemand im Netz von den Tutorialschreibern machen? Muss man generell die mdadm.conf in die initramdisk neu schreiben?

[Danielx]

Also mein neu erstelltes Array md2 ist als tmpfs deklariert?

Nein, es wurde lediglich die Info für /dev (ohne md2) ausgegeben.

Was mich etwas wundert:
Warum verwendest du md2?
Gibt es bei dir schon zwei andere RAID, md0 und md1?

Gruß,
Daniel

[hallodri]

Ja Daniel, die gibt es schon.

Was hat es denn mit dem update-initramfs auf sich?

[KBDCALLS]

Sagt ja im Prinzip schon der Name. Hiermit erstellt man für den Kernel eine neue Initrd.

Alternaticv kann man das auch mit

Code: Alles auswählen

dpkg-reconfigure linux.image-2.6.26-2.686

machen.Vorausgesetzt man hat einen Debiankernel und richtige Version einstezen.

[hallodri]

Ja, das ist mir klar

Aber warum war das bei meiner Installation nötig, damit ich /dev/md2 formatieren konnte? Wieso hat es nicht gereicht, das RAID einfach anzulegen und starten zu lassen (wie bei allen anderen)?

[KBDCALLS]

Anscheinend muß der Kernel das erst mitkriegen das sich in Bezug auf Raid was getan hat. Ich hab das mal händisch gemacht ohne Installerunterstützung bzw. grafischen Schnickschnak nachtäglich ein Raid anzulegen. Das konnte ich auch erst nach einem neu booten des Rechners formatieren. Vorher gabs auch ziemlich kryptische Fehlerrmeldungen.
Es kann allerdings sein das bestimmte Sachen beim Booten präsent sein müssen, die wurden vorher nicht gebraucht , also gabs auch keinen Grund die mit aufzunehmen in die Intrd,

PS: Der Installer kriegst ein Raid hin auch ohne Neuboot.

[hallodri]

Naja, Booten ist das eine, die InitRAMDisk updaten das andere. Booten hatte ja mehrfach versucht - ohne Erfolg.

Erst das explizite Neuschreiben des Images verschaffte Erfolg. Md0 und md1 hatte ich kurz vorher eingerichtet und (ohne Installer, also auch nachträglich) und da musste ich auch nichts updaten.