Mdadm , RAID Kann nicht gestartet werden

[Ultimate272]

Hi

Da anscheind keiner mehr mein Thema liest und mir gerade passiert is das das RAID nichtmehr läuft habe ich im log geguckt und die infos bekommen :

Code: Alles auswählen

Oct 27 15:55:25 Zeus kernel: [  799.782267] raid5: device sdb1 operational as raid disk 0
Oct 27 15:55:25 Zeus kernel: [  799.782270] raid5: device sde1 operational as raid disk 3
Oct 27 15:55:25 Zeus kernel: [  799.782272] raid5: device sdd1 operational as raid disk 2
Oct 27 15:55:25 Zeus kernel: [  799.782273] raid5: device sdc1 operational as raid disk 1
Oct 27 15:55:25 Zeus kernel: [  799.782275] raid5: cannot start dirty degraded array for md0
Oct 27 15:55:25 Zeus kernel: [  799.782277] RAID5 conf printout:
Oct 27 15:55:25 Zeus kernel: [  799.782278]  --- rd:5 wd:4
Oct 27 15:55:25 Zeus kernel: [  799.782280]  disk 0, o:1, dev:sdb1
Oct 27 15:55:25 Zeus kernel: [  799.782281]  disk 1, o:1, dev:sdc1
Oct 27 15:55:25 Zeus kernel: [  799.782282]  disk 2, o:1, dev:sdd1
Oct 27 15:55:25 Zeus kernel: [  799.782284]  disk 3, o:1, dev:sde1
Oct 27 15:55:25 Zeus kernel: [  799.782285] raid5: failed to run raid set md0
Oct 27 15:55:25 Zeus kernel: [  799.782286] md: pers->run() failed ...

Ich kann damit nix anfangen. Hilfe !

[Danielx]

Was sagt:

Code: Alles auswählen

mdadm -D /dev/md0

Gruß,
Daniel

[Ultimate272]

Code: Alles auswählen

Zeus:~# mdadm -D /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
/dev/md0:
        Version : 00.90
  Creation Time : Fri Sep 11 18:00:41 2009
     Raid Level : raid5
  Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
   Raid Devices : 5
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Tue Oct 27 08:07:05 2009
          State : active, degraded, Not Started
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : 97f5d4fb:2f9da94a:4b9062e0:a0bd6cbd
         Events : 0.1332351

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1
       4       0        0        4      removed

Das Problem das 1 Platte removed war hatte ich schon , -> siehe anderes Thema

[Mictlan]

ich will jetzt nicht das Forum durchsuchen um die Infos über dein Raid zu bekommen.

Welche Platte/Partition sollte im raid liegen?
was sagt fdisk -l ?
wie schaut deine mdadm.conf aus?
was sagt cat /proc/mdstat ?

[Ultimate272]

Link :
http://debianforum.de/forum/viewtopic.php?f=32&t=115005

+

34140

[Danielx]

Was mir hier sofort auffällt:

• sdf1 ist kleiner als die anderen RAID-Partitionen, das erscheint mir problematisch
• sdf1 hat den Partitionstyp "83", die anderen RAID-Partitionen hingegen "ee"

Was sagt:

Code: Alles auswählen

mdadm -E /dev/sd[b-f]1

Gruß,
Daniel

[Ultimate272]

34141

[Danielx]

Einmal hätte auch gereicht.

Und was ist mit sdf1?
Das taucht bei der Ausgabe nicht auf!
Was sagt denn direkt:

Code: Alles auswählen

mdadm -E /dev/sdf1

Und auch mal:

Code: Alles auswählen

file -s sd[b-f]1

Gruß,
Daniel

[Ultimate272]

Zeus:~# mdadm -E /dev/sdf1
mdadm: metadata format 00.90 unknown, ignored.
mdadm: cannot open /dev/sdf1: No such file or directory


Zeus:~# file -s sd[b-f]1
sd[b-f]1: ERROR: cannot open `sd[b-f]1' (No such file or directory)



Meinst du , ich bekomme das RAID mit eurer hilfe wieder ans laufen ?

[Danielx]

Ähm, was sagt:

Code: Alles auswählen

ls -l /dev/sdf
ls -l /dev/sdf1
file -s /dev/sdf
file -s /dev/sdf1

Gruß,
Daniel

[Ultimate272]

Code: Alles auswählen

Zeus:~# ls -l /dev/sdf
brw-rw---- 1 root disk 8, 80 2009-10-28 17:26 /dev/sdf
Zeus:~# ls -l /dev/sdf1
ls: cannot access /dev/sdf1: No such file or directory
Zeus:~# file -s /dev/sdf
/dev/sdf: x86 boot sector; partition 1: ID=0x83, starthead 1, startsector 63, 19                                        53520002 sectors
Zeus:~# file -s /dev/sdf1
/dev/sdf1: ERROR: cannot open `/dev/sdf1' (No such file or directory)

[Danielx]

Ich weiß nicht, was du da gemacht hast, aber anscheinend wurde die Partitionstabelle von sdf nicht eingelesen.

Was sagt:

Code: Alles auswählen

fdisk -l /dev/sdf

Dann mal die Partitionstabelle von sdf neu einlesen:

Code: Alles auswählen

partprobe -s /dev/sdf

Und dann nochmal:

Code: Alles auswählen

fdisk -l /dev/sdf
file -s /dev/sdf1
mdadm -E /dev/sdf1

Gruß,
Daniel

[Ultimate272]

Zeus:~#

34142


Ähm , was hast du jeze gemacht , mit dem letzten befehlt zeit er doch dass das RAID läuft , oda bin ich blöd

EDIT : ok war doch zu vorschnell


Zeus:~# mount /dev/md0 /media/Stornage
mount: you must specify the filesystem type

[Danielx]

Ok, jetzt ist sdf1 wieder da.

Dann mal die Ausgabe von:

Code: Alles auswählen

mdadm -D /dev/md0

Gruß,
Daniel

[Ultimate272]

Code: Alles auswählen

Zeus:~# mdadm -D /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
/dev/md0:
        Version : 00.90
  Creation Time : Fri Sep 11 18:00:41 2009
     Raid Level : raid5
  Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
   Raid Devices : 5
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Tue Oct 27 08:07:05 2009
          State : active, degraded, Not Started
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : 97f5d4fb:2f9da94a:4b9062e0:a0bd6cbd
         Events : 0.1332351

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1
       4       0        0        4      removed

[Danielx]

Gut, dann füge sdf1 wieder ins RAID hinzu und starte dann das RAID.

Gruß,
Daniel

[Ultimate272]

^Zeus:~# mdadm -a /dev/md0 /dev/sdf1
mdadm: metadata format 00.90 unknown, ignored.
mdadm: re-added /dev/sdf1
Zeus:~# mdadm --detail /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
/dev/md0:
Version : 00.90
Creation Time : Fri Sep 11 18:00:41 2009
Raid Level : raid5
Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
Raid Devices : 5
Total Devices : 5
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Tue Oct 27 08:07:05 2009
State : active, degraded, Not Started
Active Devices : 4
Working Devices : 5
Failed Devices : 0
Spare Devices : 1

Layout : left-symmetric
Chunk Size : 64K

UUID : 97f5d4fb:2f9da94a:4b9062e0:a0bd6cbd
Events : 0.1332351

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 8 49 2 active sync /dev/sdd1
3 8 65 3 active sync /dev/sde1
4 0 0 4 removed

5 8 81 - spare /dev/sdf1
Zeus:~# mdadm --run /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
mdadm: failed to run array /dev/md0: Input/output error



Syslog :


Oct 28 23:20:39 Zeus kernel: [27038.088005] md: bind<sdf1>
Oct 28 23:20:51 Zeus kernel: [27051.619318] raid5: device sdb1 operational as raid disk 0
Oct 28 23:20:51 Zeus kernel: [27051.619321] raid5: device sde1 operational as raid disk 3
Oct 28 23:20:51 Zeus kernel: [27051.619322] raid5: device sdd1 operational as raid disk 2
Oct 28 23:20:51 Zeus kernel: [27051.619324] raid5: device sdc1 operational as raid disk 1
Oct 28 23:20:51 Zeus kernel: [27051.619326] raid5: cannot start dirty degraded array for md0
Oct 28 23:20:51 Zeus kernel: [27051.619328] RAID5 conf printout:
Oct 28 23:20:51 Zeus kernel: [27051.619329] --- rd:5 wd:4
Oct 28 23:20:51 Zeus kernel: [27051.619330] disk 0, o:1, dev:sdb1
Oct 28 23:20:51 Zeus kernel: [27051.619332] disk 1, o:1, dev:sdc1
Oct 28 23:20:51 Zeus kernel: [27051.619333] disk 2, o:1, dev:sdd1
Oct 28 23:20:51 Zeus kernel: [27051.619334] disk 3, o:1, dev:sde1
Oct 28 23:20:51 Zeus kernel: [27051.619336] raid5: failed to run raid set md0
Oct 28 23:20:51 Zeus kernel: [27051.619337] md: pers->run() failed ...

[Danielx]

Jetzt hast du sdf1 als Spare-Device, es ist also nicht aktiv.

Du hast ein "dirty degraded array", also ein Blick in /usr/share/doc/mdadm/README.recipes.gz werfen:

Code: Alles auswählen

4. assemble a dirty degraded array
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    mdadm --assemble --auto=yes --force /dev/md0 /dev/sd[ab]1
    mdadm --run /dev/md0

Also bei dir:

Code: Alles auswählen

mdadm --assemble --auto=yes --force /dev/md0 /dev/sd[b-f]1
mdadm --run /dev/md0

Allerdings würde ich mal ernsthaft darüber nachdenken, sdf exakt so zu partitionieren, wie du sdb bis sde partitioniert hast, damit die Größe aller RAID-Partitionen übereinstimmt.

Gruß,
Daniel

[Ultimate272]

Hi ja das hatte ich ja probiert , weis auch nicht warum das nicht klappt. Ich mach das mit gparted .
Da mach ich eine neue partitions Tabelle und dann formatiere ich mit ext3




Zeus:~# mdadm --assemble --auto=yes --force /dev/md0 /dev/sd[b-f]1
mdadm: metadata format 00.90 unknown, ignored.
mdadm: device /dev/md0 already active - cannot assemble it
Zeus:~# mdadm --run /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
mdadm: failed to run array /dev/md0: Input/output error
Zeus:~#





Oct 29 06:51:14 Zeus kernel: [60867.108590] raid5: device sdb1 operational as raid disk 0
Oct 29 06:51:14 Zeus kernel: [60867.108590] raid5: device sde1 operational as raid disk 3
Oct 29 06:51:14 Zeus kernel: [60867.108590] raid5: device sdd1 operational as raid disk 2
Oct 29 06:51:14 Zeus kernel: [60867.108590] raid5: device sdc1 operational as raid disk 1
Oct 29 06:51:14 Zeus kernel: [60867.108590] raid5: cannot start dirty degraded array for md0
Oct 29 06:51:14 Zeus kernel: [60867.108590] RAID5 conf printout:
Oct 29 06:51:14 Zeus kernel: [60867.108590] --- rd:5 wd:4
Oct 29 06:51:14 Zeus kernel: [60867.108590] disk 0, o:1, dev:sdb1
Oct 29 06:51:14 Zeus kernel: [60867.108590] disk 1, o:1, dev:sdc1
Oct 29 06:51:14 Zeus kernel: [60867.108590] disk 2, o:1, dev:sdd1
Oct 29 06:51:14 Zeus kernel: [60867.108590] disk 3, o:1, dev:sde1
Oct 29 06:51:14 Zeus kernel: [60867.108590] raid5: failed to run raid set md0
Oct 29 06:51:14 Zeus kernel: [60867.108590] md: pers->run() failed ...

[Danielx]

Hi ja das hatte ich ja probiert , weis auch nicht warum das nicht klappt. Ich mach das mit gparted .

Wie hast du es denn bei sdb bis sde gemacht, das musst du doch noch wissen.

Da mach ich eine neue partitions Tabelle und dann formatiere ich mit ext3

Ja, aber warum wählst du nicht den selben Partitionstyp, wie bei den anderen Devices, also "ee" bzw. "EFI GPT"?
Und formatieren brauchst du da gar nichts.
Du kannst also auch sdf1 einfach mit fdisk entfernen und wieder eine neue Partition anlegen, mit dem Typ "ee" und eben auf die richtige Größe achten.

Gruß,
Daniel

[Ultimate272]

Ich hatte die immer mit GPT Formatiert.

Was soll ich jetzt deiner meinung nach machen , weil ich bekomme es ja so nicht zum starten und ein Rebuild geht dann auch nicht.

Also mit GParted öffnen , neue Partitionstabelle in GPT und fertig ...

[Danielx]

Also mit GParted öffnen , neue Partitionstabelle in GPT und fertig ...

Bist du bei den anderen RAID-Devices auch genauso vorgegangen?

Gruß,
Daniel

[Ultimate272]

Ich weiß es nichtmehr 100 %ig aber ich glaube ja

[Danielx]

Und passt es jetzt?
Was sagt:

Code: Alles auswählen

fdisk -l /dev/sdf

Gruß,
Daniel

[Ultimate272]

Habe jetzt eine neue Part. Tabelle mit GPT gemacht auf sdf , und unformatiert gelassen.
Dann zum RAID sdf1 hinzugefügt.

Doch mit

Zeus:~# mdadm --run /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
mdadm: failed to run array /dev/md0: Input/output error


kommt das wieder...

und wenn ich das mit eus:~# mdadm --assemble --auto=yes --force /dev/md0 /dev/sd[b-f]1
mdadm: metadata format 00.90 unknown, ignored.
mdadm: device /dev/md0 already active - cannot assemble it
Zeus:~# mdadm --run /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
mdadm: failed to run array /dev/md0: Input/output error

Das Problem ist meinermeinung nach jetzt dass das device md0 noch active ist.
Wenn wir das disable setzen können , könnten wir den befehl wieder machen dann arbeitet es normal ?