RAID5 unter Squeeze

[silverSliDE]

Hallo zusammen,
ich habe einige Fragen was das RAID5 betrifft.

Zunächst das System:
Squeeze, 2.6.32-5-amd64, Atom D525, 4GB
RAID5, 4x 1TB, davon 3xDaten 1x Hot Spare
Das OS läuft auf einer separaten HDD

So starte ich das RAID nach dem Booten:

Code: Alles auswählen

#!/bin/bash

# Script zum Starten des RAID Arrays

echo "Starting RAID Array"
mdadm-startall

echo "Unlocking /dev/md0"
cryptsetup luksOpen /dev/md0 cryptraid5

echo "Scanning for volume groups"
vgscan --mknodes

echo "Setting volume groups 2 Active"
vgchange -ay vg

echo "Mounting RAID5 Array"
mount /dev/mapper/vg-crypt /mnt/array1/

echo "Array mounted @ /mnt/array1"

Für ein eventuelles maintanance reboot wird in umgekehrter reihenfolge das RAID abgeschaltet.

mdadm.conf:

Code: Alles auswählen

# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default, scan all partitions (/proc/partitions) for MD superblocks.
# alternatively, specify devices to scan, using wildcards if desired.
DEVICE partitions

# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR root

# definitions of existing MD arrays

# This file was auto-generated on Fri, 25 Feb 2011 19:51:46 +0100
# by mkconf 3.1.4-1+8efb9d1

ARRAY /dev/md0 level=raid5 devices=/dev/sda,/dev/sdb,/dev/sdc,/dev/sdd

mdadm --detail /dev/md0:

Code: Alles auswählen

root@homer:/mnt/array1# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Fri Feb 25 20:10:08 2011
     Raid Level : raid5
     Array Size : 2930284032 (2794.54 GiB 3000.61 GB)
  Used Dev Size : 976761344 (931.51 GiB 1000.20 GB)
   Raid Devices : 4
  Total Devices : 3
    Persistence : Superblock is persistent

    Update Time : Mon Jun  4 20:49:33 2012
          State : clean, degraded
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : homer:0  (local to host homer)
           UUID : 05ca68f2:245c258e:b77b7725:fa43e5bf
         Events : 49178

    Number   Major   Minor   RaidDevice State
       0       8        0        0      active sync   /dev/sda
       1       8       16        1      active sync   /dev/sdb
       2       8       32        2      active sync   /dev/sdc
       3       0        0        3      removed

ist das Normal das dei Spare-Platte als removed angezeigt wird?
oder wurde die beim starten des RAID-Arrays einfach nicht mit aufgenommen?
das Forum und auch das Netz ist voll von diesem Phänomen, jedoch gibt es einen kleinen unterschied: bei mir spuckt die 4te HDD (/dev/sdd) KEINE fehler aus:

root@homer:/mnt/array1# mdadm -E /dev/sda

Code: Alles auswählen

/dev/sda:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 05ca68f2:245c258e:b77b7725:fa43e5bf
           Name : homer:0  (local to host homer)
  Creation Time : Fri Feb 25 20:10:08 2011
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 1953523120 (931.51 GiB 1000.20 GB)
     Array Size : 5860568064 (2794.54 GiB 3000.61 GB)
  Used Dev Size : 1953522688 (931.51 GiB 1000.20 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 065ced4e:1f760953:1ba1d71f:e9fc11d3

    Update Time : Mon Jun  4 20:49:33 2012
       Checksum : 8fa8e811 - correct
         Events : 49178

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing)

root@homer:/mnt/array1# mdadm -E /dev/sdb

Code: Alles auswählen

/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 05ca68f2:245c258e:b77b7725:fa43e5bf
           Name : homer:0  (local to host homer)
  Creation Time : Fri Feb 25 20:10:08 2011
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 1953523120 (931.51 GiB 1000.20 GB)
     Array Size : 5860568064 (2794.54 GiB 3000.61 GB)
  Used Dev Size : 1953522688 (931.51 GiB 1000.20 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 5c3a368e:6b397ce9:5edb1bda:a885aca8

    Update Time : Mon Jun  4 20:49:33 2012
       Checksum : f5434cb7 - correct
         Events : 49178

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA ('A' == active, '.' == missing)

root@homer:/mnt/array1# mdadm -E /dev/sdc

Code: Alles auswählen

/dev/sdc:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 05ca68f2:245c258e:b77b7725:fa43e5bf
           Name : homer:0  (local to host homer)
  Creation Time : Fri Feb 25 20:10:08 2011
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 1953523120 (931.51 GiB 1000.20 GB)
     Array Size : 5860568064 (2794.54 GiB 3000.61 GB)
  Used Dev Size : 1953522688 (931.51 GiB 1000.20 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 050644a7:f8c43c19:926630b9:ef20d442

    Update Time : Mon Jun  4 20:49:33 2012
       Checksum : b74dca68 - correct
         Events : 49178

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : AAAA ('A' == active, '.' == missing)

root@homer:/mnt/array1# mdadm -E /dev/sdd

Code: Alles auswählen

/dev/sdd:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 05ca68f2:245c258e:b77b7725:fa43e5bf
           Name : homer:0  (local to host homer)
  Creation Time : Fri Feb 25 20:10:08 2011
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 1953523120 (931.51 GiB 1000.20 GB)
     Array Size : 5860568064 (2794.54 GiB 3000.61 GB)
  Used Dev Size : 1953522688 (931.51 GiB 1000.20 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 9f4a8a6e:538b919f:f806f866:19af9ded

    Update Time : Thu Jun 23 21:49:15 2011
       Checksum : 5bafee18 - correct
         Events : 5316

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 3
   Array State : AAAA ('A' == active, '.' == missing)

Alle 4 HDDS sind "clean" und "active"...

Dennoch sagt
cat /proc/mdstat:

Code: Alles auswählen

Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sda[0] sdc[2] sdb[1]
      2930284032 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [UUU_]

unused devices: <none>

Ist das normal das die Spare Platte als "_" angezeigt wird?
Hardwaredefekt halte ich angesichts des Alters (1,5 Jahre; HDDs mit 24/7 freigabe, ein reboot gibt es ca alle 3-6monate wegen Kernelupdate oderso, HDDS kühlen also nicht ab, umgebungstemperatur durchgehend 20-25°C) und der Ausgaben (s.o.) für unwahrscheinlich, wenn auch nicht unmöglich. Garantie habe ich noch.
habe ich iwie ein denk- oder Konfigurationsfehler?
im Syslog fand ich nichts auffälliges.
nur sachen wie:
cat /var/log/syslog | grep mdadm

Code: Alles auswählen

Jun  4 22:16:33 homer kernel: [873590.114825] mdadm: sending ioctl 1261 to a partition!
Jun  4 22:16:33 homer kernel: [873590.233599] mdadm: sending ioctl 1261 to a partition!
Jun  4 22:16:33 homer kernel: [873590.275935] mdadm: sending ioctl 1261 to a partition!
Jun  4 22:16:33 homer kernel: [873590.312136] mdadm: sending ioctl 1261 to a partition!
Jun  4 22:16:33 homer kernel: [873590.356001] mdadm: sending ioctl 800c0910 to a partition!
Jun  4 22:16:33 homer kernel: [873590.356632] mdadm: sending ioctl 800c0910 to a partition!
Jun  4 22:16:33 homer kernel: [873590.569739] mdadm: sending ioctl 1261 to a partition!
Jun  4 22:16:34 homer kernel: [873590.827639] mdadm: sending ioctl 1261 to a partition!
Jun  4 22:16:34 homer kernel: [873590.904270] mdadm: sending ioctl 1261 to a partition!
Jun  4 22:16:34 homer kernel: [873590.990289] mdadm: sending ioctl 1261 to a partition!

iwie bin ich confused...

[Natureshadow]

Bitte zuerst auf Squeeze updaten, bevor man dich supporten kann.

-nik

[silverSliDE]

Oh sry! ist natürlich Squeeze (6.0.5).
kA was mich da geritten hatte...

[silverSliDE]

Sry fürs pushen, aber kann niemand was dazu sagen?

[Natureshadow]

Sry fürs pushen, aber kann niemand was dazu sagen?

Je öfter du pushst, desto weniger können etwas dazu sagen.

[Saxman]

Also so ganz gefällt mir dein setup nicht, zuerstmal sollte bei mdadm --detail /dev/md0 statt

Code: Alles auswählen

State : clean, degraded

nur

Code: Alles auswählen

State : clean

stehen wenn alles in Ordnung ist. Das UUU_ in /proc/mdstat steht für 3 devices up und ein device down. Was mich ebenfalls ein wenig wundert ist dass deine spare Platte /dev/sdd als

Code: Alles auswählen

Device Role : Active device 3

angezeigt wird. Normalerweise müsste da bei einer spare Platte afaik

Code: Alles auswählen

Device Role : spare

stehen. Für mich schaut das aus, wie ein raid 5 mit 4 Platten, von denen eine down ist.

Wie hast du das raid denn erstellt?

Für ein wenig mehr Infos siehe auch im raid wiki

[cirrussc]

ist das Normal das dei Spare-Platte als removed angezeigt wird?
oder wurde die beim starten des RAID-Arrays einfach nicht mit aufgenommen?
das Forum und auch das Netz ist voll von diesem Phänomen, jedoch gibt es einen kleinen unterschied: bei mir spuckt die 4te HDD (/dev/sdd) KEINE fehler aus:[...]
Ist das normal das die Spare Platte als "_" angezeigt wird?
Hardwaredefekt halte ich angesichts des Alters (1,5 Jahre; HDDs mit 24/7 freigabe, ein reboot gibt es ca alle 3-6monate wegen Kernelupdate oderso, HDDS kühlen also nicht ab, umgebungstemperatur durchgehend 20-25°C) und der Ausgaben (s.o.) für unwahrscheinlich, wenn auch nicht unmöglich. Garantie habe ich noch.

Hast Du sie denn gründlich mit smartctl untersucht?
Ich weiß zwar nicht, wie sich so eine SW RAID 5 verhält, aber wenn die spare HDD nicht als removed eingeblendet sein sollte, dann muss es ja einen Grund dafür geben.

[schorsch_76]

Afaik wird bei einem SW Raid5 die letzte Platte immer als degraded eingebunden. Diese muss als fail markiert, entfernt und wieder hinzugefügt werden um den Recovery Prozess anzustupsen.

Den Grund weis ich nur grad nicht mehr ...

Gruß
schorsch

[Natureshadow]

Für mich sieht das auch alles korrekt aus. Die zusätzliche Platte muss manuell als Ersatz eingebunden werden im Fehlerfall.

[silverSliDE]

Danke für die Antworten. Man liest nur überall im Netz, dass es nach einem Reboot ständig vorkommt, aber keiner konnte iwie sagen ob es "by design" ist oder wegen einer defekten platte.

Dann hole ich die platte mal aus dem verbund, lasse nen smartctl laufen und wenn alles io ist binde ich sie wieder händisch ein.
Ich verwende beim RAID ne verschlüsselung (LVM, cryptsetup/luks...)
Gibt es da eig probleme, oder brauch ich das nicht weiter zu beachten und beim Rebuild wird das nötige getan?

***EDIT**

Code: Alles auswählen

mdadm /dev/md0 --fail /dev/sdd

konnte sdd nicht finden.

Code: Alles auswählen

mdadm /dev/md0 --remove /dev/sdd

logischerweise das gleiche.
also direkt:

Code: Alles auswählen

mdadm /dev/md0 --add /dev/sdd

macht nun ein spare rebuild:

Code: Alles auswählen

Every 5,0s: mdadm --detail /dev/md0                     Fri Jun  8 11:22:16 2012

/dev/md0:
        Version : 1.2
  Creation Time : Fri Feb 25 20:10:08 2011
     Raid Level : raid5
     Array Size : 2930284032 (2794.54 GiB 3000.61 GB)
  Used Dev Size : 976761344 (931.51 GiB 1000.20 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Fri Jun  8 11:22:11 2012
          State : clean, degraded, recovering
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 512K

 Rebuild Status : 4% complete

Abwarten, bis das rebuild fertig ist...

[silverSliDE]

So rebuild abgeschlossen:

Code: Alles auswählen

#  mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Fri Feb 25 20:10:08 2011
     Raid Level : raid5
     Array Size : 2930284032 (2794.54 GiB 3000.61 GB)
  Used Dev Size : 976761344 (931.51 GiB 1000.20 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Fri Jun  8 15:01:14 2012
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : homer:0  (local to host homer)
           UUID : 05ca68f2:245c258e:b77b7725:fa43e5bf
         Events : 54266

    Number   Major   Minor   RaidDevice State
       0       8        0        0      active sync   /dev/sda
       1       8       16        1      active sync   /dev/sdb
       2       8       32        2      active sync   /dev/sdc
       4       8       48        3      active sync   /dev/sdd

Code: Alles auswählen

# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd[4] sda[0] sdc[2] sdb[1]
      2930284032 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]

unused devices: <none>

Schaut soweit sauber aus.
Aber müsste nicht eine platte als SPARE eingetragen sein?
denn es sind 4 1TB HDDs

Code: Alles auswählen

# df -h
Dateisystem           Size  Used Avail Use% Eingehängt auf
/dev/mapper/homer-root
                      9,2G  2,7G  6,1G  31% /
tmpfs                 2,0G     0  2,0G   0% /lib/init/rw
udev                  2,0G  176K  2,0G   1% /dev
tmpfs                 2,0G     0  2,0G   0% /dev/shm
/dev/sde1             472M   29M  419M   7% /boot
/dev/mapper/homer-home
                      218G   44G  163G  22% /home
/dev/mapper/vg-crypt  2,8T  2,0T  784G  72% /mnt/array1

/dev/mapper/vg-crypt ist das array. mit 3x1TB hdds und 1x1TB hdd spare
Oder hat alles soweit seine richtigkeit?

[sven19]

Meine RAID-Kenntnisse sind ja sehr begrenzt, aber bei einem RAID-5 hast du ja n-1 Platten zur Verfügung, d.h. bei deinen 4 Platten, eine davon Hot-Spare -> 3-1=2 -> 2TB.
Sieht für mich aber so aus, als wären alle 4 Platten im RAID drin, daher auch ~2,8 TB.
Unter Hot-Spare verstehe ich eine Platte die einspringt, wenn eine aus dem RAID aussteigt, damit der Rebuild gleich losgehen kann...
Eigentlich dürfte dein RAID dann ja nur 2 TB an Kapazität haben.

Schlagt mich bitte nicht, falls das Müll war/ist

@TE oder meinst du mit Hot-Spare die eine Platte, die im RAID5 ausfallen darf? Falls ja, dann würde ich sagen, dass dein RAID i. o. ist (zu den Skripten vom Anfang kann ich nichts sagen, noch nicht mit LVMs gearbeitet).

[silverSliDE]

hm... so wie ich es verstehe ist ein RAID5 n-1, wie du geschrieben hast.
ich hab 4HDDs a1TB ==> alle 4 sind drinne, aber nur (n-1) werden für daten genutzt ==> 3 (symbolisch!) werden für daten genutzt + eine, die zwar mitläuft, aber eben nur im fehlerfall eingesetzt wird(Symbolisch!). Effektiv laufen ALLE mit und auf ALLE wird geschrieben, d.h. bei 4 HDDs dind 3/4 Daten und 1/4 Parität, die für ein rebuild benötigt wird. wenn nun eine platte weg ist, dann kann anhand der parität auf 1/4 + daten auf das anderen 2/4 das letzte 1/4 rekonstruiert werden. wenn nun 3/4 daten da sind, wird für die neue Platte die parität für das letzte 1/4 errechnet und hinterlegt.


Es wird oft mit RAID3 verwechselt, wo die GESAMTE Parität auf der letzten platte sind. Hier ist es effektiv so, dass 3/4 NUR für daten und 1/4 NUR für parität genutzt wird:


Ich bin beim RAID5 nur wegen der anzeige

Code: Alles auswählen

  Spare Devices : 0

etwas irritiert... aber:

Code: Alles auswählen

State : clean

ich behaupte mal das muss so.

Das Array läuft wie ne 1 mit allen platten oben

Vielen Dank an dieser Stelle an alle