RAID5 Array "verschwunden"

[arneboockmeyer]

Hallo,

ich habe ein Problem mit meinem RAID 5. Dieses RAID 5 läuft mit 4 x 2TB Festplatten auf einem Debian 6.0 System. Ich habe es über die Nacht eine Festplatte wiederherstellen lassen und nach einem Neustart war dann das Gerät /dev/md0 nicht mehr da.
Wenn ich über "mdadm --examine --scan" suchen lasse, kommt folgende Ausgabe:

Code: Alles auswählen

ARRAY /dev/md/0 metadata=1.2 UUID=ff52c212:5354831a:0d588bd7:963a660b name=nas-server:0

Daraus schließe ich, dass das Array noch da ist.
Wenn ich aber es versuche zu mounten ("mount -t ext3 -U ff52c212:5354831a:0d588bd7:963a660b /mnt/raid/"), kommt folgende Fehlermeldung:

Code: Alles auswählen

mount: no such partition found

Muss ich die Partition auf dem Array neu erstellen oder ein neues Dateisystem anlegen? Das wäre ärgerlich, da auf dem RAID noch viele Daten sind, die ich gerne behalten würde.
Kann mir dort einer helfen?

Mit freundlichen Grüßen,

Arne Boockmeyer

[Cae]

Nimm' das Device /dev/md/0 (bzw. wird das auch /dev/md0 sein). Diese "UUID" von da oben ist *nicht* die "globale UUID", die mount verwendet. Die mdadm-UUID wird nur dort verwendet, vergleiche auch die Länge/Trenner.

Gruß Cae

P.S.: naaa, wo ist das RAID? Ja, wo isses denn? Daaa ist das RAID!

[rendegast]

Die *richtige* UUID mit 'blkid'.

[arneboockmeyer]

Hallo,

das Gerät /dev/md/0 konnte nicht gefunden werden:

Code: Alles auswählen

root@nas-server:~# mount -t ext3 /dev/md/0 /mnt/raid/
mount: special device /dev/md/0 does not exist

"blkid" gibt etwas komisches aus:

Code: Alles auswählen

root@nas-server:~# blkid
/dev/sde1: UUID="ff52c212-5354-831a-0d58-8bd7963a660b" LABEL="nas-server:0" TYPE="linux_raid_member" 
/dev/sda1: UUID="ff52c212-5354-831a-0d58-8bd7963a660b" LABEL="nas-server:0" TYPE="linux_raid_member" 
/dev/sdc1: UUID="9ca81d50-af95-4f1a-bf7c-0d5539987de8" TYPE="ext3" SEC_TYPE="ext2" 
/dev/sdc2: UUID="1f55248b-5def-449b-825a-8ccd639eba9a" TYPE="ext3" 
/dev/sdc5: UUID="de06f78d-15a9-4fad-94bd-27e895b75a55" TYPE="swap" 
/dev/sdb1: UUID="4ee2eda2-cd17-4b95-a3c1-03b0747b0dd5" SEC_TYPE="ext2" TYPE="ext3" 
/dev/sdd1: UUID="ff52c212-5354-831a-0d58-8bd7963a660b" LABEL="nas-server:0" TYPE="linux_raid_member"

Wiso sind nur drei der vier (sde, sda, sdb und sdd) mit dem Label "nas-server:0" versehen? Hat der Wiederherstellungsprozess nicht funktioniert? (Laut mdadm hat es damals funktioniert, also alle 4 Platten waren dran. Da jetzt das Gerät weg ist, kann ich auch keine Details mehr anzeigen lassen.)

Auch mit der UUID von den drei Festplatten klappt das nicht. Da kommt folgende Fehlermeldung:

Code: Alles auswählen

root@nas-server:~# mount -t ext3 -U ff52c212-5354-831a-0d58-8bd7963a660b /mnt/raid/
mount: wrong fs type, bad option, bad superblock on /dev/sde1,
       missing codepage or helper program, or other error
       In some cases useful info is found in syslog - try
       dmesg | tail  or so

root@nas-server:~# dmesg | tail
[    7.996720] kjournald starting.  Commit interval 5 seconds
[    7.996825] EXT3 FS on sdc2, internal journal
[    7.996830] EXT3-fs: mounted filesystem with ordered data mode.
[    8.387996] r8169 0000:04:00.0: eth0: link down
[    8.388007] r8169 0000:04:00.0: eth0: link down
[    8.388177] ADDRCONF(NETDEV_UP): eth0: link is not ready
[   10.796928] r8169 0000:04:00.0: eth0: link up
[   10.797089] ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
[   21.596055] eth0: no IPv6 routers present
[  807.478179] VFS: Can't find ext3 filesystem on dev sde1.

Theoretisch würden doch drei Festplatten reichen, um das RAID zum Laufen zu bringen, aber warum kann ich nicht auf die Daten zugreifen?

Mit freundlichen Grüßen,

Arne Boockmeyer

PS: Irgendwie will da RAID nicht hören.... Böses RAID!

[Cae]

Code: Alles auswählen

root@nas-server:~# blkid
/dev/sde1: UUID="ff52c212-5354-831a-0d58-8bd7963a660b" LABEL="nas-server:0" TYPE="linux_raid_member" 
/dev/sda1: UUID="ff52c212-5354-831a-0d58-8bd7963a660b" LABEL="nas-server:0" TYPE="linux_raid_member" 
/dev/sdb1: UUID="4ee2eda2-cd17-4b95-a3c1-03b0747b0dd5" SEC_TYPE="ext2" TYPE="ext3" 
/dev/sdd1: UUID="ff52c212-5354-831a-0d58-8bd7963a660b" LABEL="nas-server:0" TYPE="linux_raid_member"

Das ist dein RAID, wenn ich das gerade richtig interpretiere. sdb war tot und wurde ausgetauscht, da ist noch ein Dateisystem drauf. Poste mal

Code: Alles auswählen

$ mount
$ cat /proc/mdstat
$ ls -l /dev/md*

– um zu prüfen, ob das wirklich so ist.

Theoretisch würden doch drei Festplatten reichen, um das RAID zum Laufen zu bringen, aber warum kann ich nicht auf die Daten zugreifen?

Das ist auch praktisch so, andernfalls hätte sich das RAID gerade disqualifiziert.
Evtl. manuell zusammenbauen mit

Code: Alles auswählen

# mdadm /dev/md/foo --assemble /dev/sd{a,d,e}1 missing

und anschließend die gerade fehlende Partition mit

Code: Alles auswählen

# mdadm /dev/md/foo --add /dev/sdb1

Ohne Garantie, wenn du dir unsicher bist, poste den Output von oben und lass' die Finger von mdadm.

Gruß Cae

[arneboockmeyer]

Code: Alles auswählen

root@nas-server:~# blkid
/dev/sde1: UUID="ff52c212-5354-831a-0d58-8bd7963a660b" LABEL="nas-server:0" TYPE="linux_raid_member" 
/dev/sda1: UUID="ff52c212-5354-831a-0d58-8bd7963a660b" LABEL="nas-server:0" TYPE="linux_raid_member" 
/dev/sdb1: UUID="4ee2eda2-cd17-4b95-a3c1-03b0747b0dd5" SEC_TYPE="ext2" TYPE="ext3" 
/dev/sdd1: UUID="ff52c212-5354-831a-0d58-8bd7963a660b" LABEL="nas-server:0" TYPE="linux_raid_member"

Das ist dein RAID, wenn ich das gerade richtig interpretiere. sdb war tot und wurde ausgetauscht, da ist noch ein Dateisystem drauf.

Genau, sdb wurde ausgetauscht.

Poste mal

Code: Alles auswählen

$ mount
$ cat /proc/mdstat
$ ls -l /dev/md*

– um zu prüfen, ob das wirklich so ist.

mount:

Code: Alles auswählen

root@nas-server:~# mount
/dev/sdd1 on / type ext3 (rw,errors=remount-ro)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
udev on /dev type tmpfs (rw,mode=0755)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)
/dev/sdd2 on /mnt/public type ext3 (rw)

cat /proc/mdstat:

Code: Alles auswählen

root@nas-server:~# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] 
unused devices: <none>

ls -l /dev/md*:

Code: Alles auswählen

root@nas-server:~# ls -l /dev/md*
total 0

Theoretisch würden doch drei Festplatten reichen, um das RAID zum Laufen zu bringen, aber warum kann ich nicht auf die Daten zugreifen?

Das ist auch praktisch so, andernfalls hätte sich das RAID gerade disqualifiziert.

Ein Zugriff auf das RAID würde mir schon reichen. Dann würde ich die Daten sichern und einfach alles komplett neuinstallieren. Das ist vielleicht nicht der Zweck, aber es würde mir reichen.

Evtl. manuell zusammenbauen mit

Code: Alles auswählen

# mdadm /dev/md/foo --assemble /dev/sd{a,d,e}1 missing

und anschließend die gerade fehlende Partition mit

Code: Alles auswählen

# mdadm /dev/md/foo --add /dev/sdb1

Ohne Garantie, wenn du dir unsicher bist, poste den Output von oben und lass' die Finger von mdadm.

Ich habe bereits einmal das RAID gestoppt und neu erstellt. Und dann konnte ich auch die Festplatte hinzufügen. Er hat mit dem Wiederherstellen begonnen, da sagte er mir noch "Das dauert 2000 min". Aber nach einer Nacht war er bereits fertig und mit dem Befehl "mdadm -D /dev/md0" zeigte er vier Festplatten mit "activ sync" an.

Weißt du da weiter?

Mit freundlichen Grüßen,

Arne Boockmeyer

[Cae]

Okay, das sieht schlüssig aus. Es ist kein RAID da, keins gemountet und das Device fehlt ebenfalls. Dann probiere den --assemble-Befehl aus, poste direkt danach nochmal /proc/mdstat und einen Syslog-Auszug, wenn da etwas zu dieser Zeit passiert.

Ich habe bereits einmal das RAID gestoppt und neu erstellt. Und dann konnte ich auch die Festplatte hinzufügen. Er hat mit dem Wiederherstellen begonnen, da sagte er mir noch "Das dauert 2000 min". Aber nach einer Nacht war er bereits fertig und mit dem Befehl "mdadm -D /dev/md0" zeigte er vier Festplatten mit "activ sync" an.

Das ist aber im Sinne von "es war einmal…" und hat nichts mit dem jetzigen Problem zu tun? Dann der allgemeine Hinweis, dass solche Zeitabschätzungen am Anfang naturgemäß ungenau sind und erst nach einigen (Dutzend) Minuten brauchbar werden. So ein RAID sollte schon innerhalb von sagen wir mal 15 Stunden gesyncht sein, es sei denn, man betreibt externe Terrabyte-Platten über USB1.0, dann kann das etwas dauern…

Gruß Cae

[arneboockmeyer]

Hallo,

folgendes passiert bei dem Befehl:

Code: Alles auswählen

root@nas-server:~# mdadm /dev/md/foo --assemble /dev/sd{a,b,e}1 missing
mdadm: cannot open device missing: No such file or directory
mdadm: missing has no superblock - assembly aborted

Kann ich nicht über "mdadm --create ..." ein neues Gerät anlegen?

Mit freundlichen Grüßen,

Arne Boockmeyer

[Cae]

Ahrgs, "missing" war beim create, wenn nicht alle Platten da sind. Probiere --assemble nur mit den alten Devices bis auf sdb1 und lass' das missing weg. Falls das RAID nicht starten mag, da es degraded sei (was auch stimmt), kannst du noch --run anfügen. Also:

Code: Alles auswählen

# mdadm /dev/md/foo --assemble /dev/sd{a,d,e}1 [--run]

Gruß Cae

[arneboockmeyer]

Hallo,

ich habe es probiert.
Der Befehl ohne --run erzeugte folgenden Fehler.

Code: Alles auswählen

root@nas-server:~# mdadm /dev/md/foo --assemble /dev/sd{a,b,e}1
mdadm: /dev/md/foo assembled from 3 drives - need all 4 to start it (use --run to insist).

Sobald ich --run angefügt habe, kam folgende Fehlermeldung:

Code: Alles auswählen

root@nas-server:~# mdadm /dev/md/foo --assemble /dev/sd{a,b,e}1 --run
mdadm: cannot open device /dev/sda1: Device or resource busy
mdadm: /dev/sda1 has no superblock - assembly aborted

Mit freundlichen Grüßen,

Arne Boockmeyer